[논문 리뷰] Machine Learning Techniques for Stackelberg Security Games: a Survey

Giuseppe De Nittis, Francesco Trovò|arXiv (Cornell University)|2016. 09. 29.

Reinforcement Learning in Robotics참고 문헌 19인용 수 3

한 줄 요약

이 종합 검토는 스택엘베르크 보안 게임(SSGs)에서 기계 학습 기법을 제시하며, 인간 행동을 반영하여 제한된 이성성을 가진 공격자 모델링, 회귀 기반 방법을 통한 미관측 공격자 보상 추정, Whittle 인덱스 및 POMDP 기반 계획을 통한 온라인 학습을 다룬다. 또한, 자원 보존 게임에서 최적의 보호자 전략을 위한 믿음 상태 샘플링을 향상시키기 위해 기브스 샘플링과 몬테카를로 트리 검색(MCTS)을 활용하는 GMOP 알고리즘을 소개한다.

ABSTRACT

The present survey aims at presenting the current machine learning techniques employed in security games domains. Specifically, we focused on papers and works developed by the Teamcore of University of Southern California, which deepened different directions in this field. After a brief introduction on Stackelberg Security Games (SSGs) and the poaching setting, the rest of the work presents how to model a boundedly rational attacker taking into account her human behavior, then describes how to face the problem of having attacker's payoffs not defined and how to estimate them and, finally, presents how online learning techniques have been exploited to learn a model of the attacker.

연구 동기 및 목표

• 완벽한 이성성에서 벗어나는 공격자를 모델링하는 데 도전하기 위해 인간 행동을 SSG에 통합함으로써 제한된 이성성을 반영한다.
• 공격자 보상이 직접 관측되지 않을 경우, 수호자 회귀를 대체로 사용하여 알려지지 않은 공격자 보상을 추정한다.
• 역사적 관측치와 믿음 갱신을 활용해 실시간으로 수호자 전략을 동적으로 적응시키는 온라인 학습 기법을 개발한다.
• 야생 보호 및 사냥 금지 작전과 같은 동적이고 부분 관측 가능한 환경에서의 의사결정을 향상시킨다.
• POMDP에서 정확한 믿음 상태 표현을 위해 기브스 샘플링을 활용하는 새로운 온라인 계획 알고리즘(GMOP)을 제안한다.

제안 방법

• 인간의 의사결정 편향을 반영하는 적응형 유틸리티 함수를 포함한 SUQR 및 SHARP 프레임워크를 사용해 제한된 이성성을 가진 공격자를 모델링한다.
• 수호자 회귀를 분석하여 공격자 보상을 추정하며, 직접적인 보상 정보 없이도 유틸리티 구조를 유추하는 데 기반한 회귀 기반 해법을 사용한다.
• 수호자 문제를 활동하는 다수의 손잡이 문제(RMAB)로 재구성하고, Whittle 인덱스 이론을 적용해 색인 가능 정책을 유도한다.
• 기브스 샘플링을 사용해 진정한 믿음 상태에서 정확한 샘플을 추출하는 온라인 계획 알고리즘인 GMOP을 제안한다. 이는 입자 필터 근사에 비해 향상된 성능을 제공한다.
• 알려진 수의 상태와 시간에 관계없이 일정한 유틸리티 상태를 갖는 특수한 POMDP를 구성하여, 기브스 샘플링을 통해 직접 믿음 상태 샘플링이 가능하게 한다.
• 기브스 샘플링과 몬테카를로 트리 검색(MCTS)을 통합하여 불확실성 하에서 최적의 수호자 전략을 계획하고, 샘플된 믿음 상태를 활용해 행동 선택을 수행한다.

실험 결과

연구 질문

• RQ1 어떻게 SSG에서 제한된 이성성과 인간의 의사결정 편향을 통합함으로써 공격자 행동을 현실적으로 모델링할 수 있는가?
• RQ2 공격자 보상이 직접 관측되거나 정의되지 않을 경우, 어떤 방법을 사용해 이를 추정할 수 있는가?
• RQ3 부분 정보가 있는 반복적인 보안 게임에서 온라인 학습 기법을 어떻게 적용해 수호자 전략을 실시간으로 동적으로 적응시킬 수 있는가?
• RQ4 기브스 샘플링을 통한 정확한 믿음 상태 샘플링과 입자 필터 등의 근사 방법 간의 성능 차이가 POMDP 기반 계획에서 수호자 전략 품질에 미치는 영향은 무엇인가?
• RQ5 Whittle 인덱스 기반 정책이 보안 게임에서 활동적인 손잡이 문제에 효과적으로 적용될 수 있는가? 특히 탐색과 이용의 균형을 어떻게 달성할 수 있는가?

주요 결과

• SUQR 및 SHARP 모델은 공격자 내 제한된 이성성을 성공적으로 반영하여 SSG에서의 현실성과 수호자 전략의 성능을 향상시켰다.
• 회귀 기반 방법은 유틸리티 함수의 명시적 지식 없이도 공격자 보상을 추정할 수 있게 해주며, 효과적인 전략 계산이 가능하게 한다.
• Whittle 인덱스 접근법은 활동적인 손잡이 문제의 색인 가능성에 대해 충분한 조건을 제공하여, 동적 보안 게임에서의 효율적 온라인 학습을 가능하게 한다.
• GMOP는 기브스 샘플링을 사용해 진정한 믿음 상태에서 정확한 샘플을 추출함으로써 입자 필터 기반 샘플링보다 우수한 성능을 보이며, 더 정확하고 안정적인 정책 학습을 이끌어낸다.
• GMOP에서 기브스 샘플링과 MCTS의 통합은 더 나은 행동 선택과 부분 관측 보안 게임에서의 개선된 기대 유틸리티를 초래한다.
• 알려진 수의 상태와 고정된 유틸리티 상태를 갖는 특수한 POMDP 구조는 효율적인 믿음 갱신과 직접적인 샘플링을 가능하게 하여 온라인 계획의 실현 가능성과 확장성을 확보한다.