[논문 리뷰] Learning Adversary Behavior in Security Games: A PAC Model Perspective

Arunesh Sinha, Debarun Kar외 1명|arXiv (Cornell University)|2015. 10. 30.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 12

한 줄 요약

이 논문은 보안 게임에서 한계 있는 이성성의 모델링을 위한 PAC-학습 프레임워크를 제안하며, 표본 복잡도와 방어자 유용성에 대한 이론적 보장을 가능하게 한다. 이는 충분한 데이터가 확보된 경우에 더 정교한 예측을 가능하게 하는 새로운 비모수적 리프시츠(NPL) 모델을 제안하며, 실제 밀렵 데이터를 통해 NPL이 SUQR과 같은 모수적 모델보다 뛰어난 성능을 보임을 보여준다.

ABSTRACT

Recent applications of Stackelberg Security Games (SSG), from wildlife crime to urban crime, have employed machine learning tools to learn and predict adversary behavior using available data about defender-adversary interactions. Given these recent developments, this paper commits to an approach of directly learning the response function of the adversary. Using the PAC model, this paper lays a firm theoretical foundation for learning in SSGs (e.g., theoretically answer questions about the numbers of samples required to learn adversary behavior) and provides utility guarantees when the learned adversary model is used to plan the defender's strategy. The paper also aims to answer practical questions such as how much more data is needed to improve an adversary model's accuracy. Additionally, we explain a recently observed phenomenon that prediction accuracy of learned adversary behavior is not enough to discover the utility maximizing defender strategy. We provide four main contributions: (1) a PAC model of learning adversary response functions in SSGs; (2) PAC-model analysis of the learning of key, existing bounded rationality models in SSGs; (3) an entirely new approach to adversary modeling based on a non-parametric class of response functions with PAC-model analysis and (4) identification of conditions under which computing the best defender strategy against the learned adversary behavior is indeed the optimal strategy. Finally, we conduct experiments with real-world data from a national park in Uganda, showing the benefit of our new adversary modeling approach and verification of our PAC model predictions.

연구 동기 및 목표

• 스택엘베르 보안 게임(SSG)에서 적의 반응 함수를 학습하기 위한 이론적 기반을 구축하기 위해 PAC 모델을 활용한다.
• 학습된 적 모델에 기반해 방어자 전략의 표본 크기 요구 조건과 유용성 한계를 포함한 실용적 질문에 답한다.
• 높은 예측 정확도가 방어자 전략의 최적 성능을 보장하지 못하는 경험적 현상을 설명한다.
• 최소한의 가정을 수반하는 새로운 비모수적 반응 함수 유형(NPL)을 개발하여 복잡한 적의 행동을 탄력적으로 모델링할 수 있도록 한다.
• 학습된 적 모델에 대해 최적의 방어자 전략을 계산했을 때 진정으로 최적의 전략이 되는 조건을 규명한다.

제안 방법

• 보통 약간 정확한(PAC) 학습 모델을 도입하여 보안 게임(SSG)에서 적의 반응 함수 학습의 표본 복잡도와 일반화 오차를 분석한다.
• 특정 모수적 가족에 제약을 두지 않고 관측된 공격 데이터에 대한 가능도 최대화 문제로 학습 문제를 수립한다.
• 하우슬러의 벡터 값 함수 공간 프레임워크를 적용하여 방어자 전략에서 공격 확률 분포로의 반응 함수의 PAC 학습 가능성을 분석한다.
• 새로운 분해 기법을 개발하여 SUQR 모델(한계 있는 이성성의 표준 모수적 모델)의 더 날카운 표본 복잡도 한계를 도출하며, 하우슬러의 경계를 직접 적용하는 것보다 향상된 결과를 얻는다.
• 리프시츠 연속성 제약 조건을 갖는 비모수적 리프시츠(NPL) 반응 함수 유형을 도입하여, 적 행동을 유연하고 가정이 적은 방식으로 모델링할 수 있도록 한다.
• 정규화를 적용한 경험 위험 최소화 기법을 사용해 NPL 모델을 훈련하고, 우간다에서 확보한 실제 밀렵 데이터와 합성 AMT 데이터를 통해 성능을 검증한다.

실험 결과

연구 질문

• RQ1 스택엘베르 보안 게임에서 주어진 정확도 수준을 확보하기 위해 얼마나 많은 표본이 필요한가?
• RQ2 학습된 적 모델에 기반해 계산된 방어자 전략에 대해 어떤 유용성 보장을 제공할 수 있는가?
• RQ3 왜 적 행동의 높은 예측 정확도가 항상 높은 성능의 방어자 전략을 보장하지 못하는가? 이 갈등을 해결할 수 있는 조건은 무엇인가?
• RQ4 더 많은 데이터가 확보된 경우, 복잡한 적 행동을 포괄하는 데 있어 비모수적 모델(NPL)과 모수적 모델(예: SUQR)의 성능은 어떻게 비교되는가?
• RQ5 학습된 적 모델에 대해 최적의 방어자 전략을 계산했을 때 진정으로 최적의 전략이 되는 조건은 무엇인가?

주요 결과

• 우간다 데이터의 100%를 사용했을 때 NPL 모델은 세밀한 예측 오차 α = 2.15를 기록했으며, 이는 SUQR(α = 2.9)와 일반화된 SUQR(α = 2.47)를 모두 초월한다.
• 우간다 데이터의 100%를 사용했을 때 NPL 모델은 SUQR 대비 25%의 예측 오차 감소를 기록하여 복잡한 적 행동을 더 잘 모델링함을 시사한다.
• 더 깔끔하고 표본 수가 적은 AMT 데이터셋에서는 SUQR이 NPL를 능가했으며(α = 0.7188 vs. 121.24), 이는 NPL가 잠재력을 발휘하기 위해 더 많은 데이터가 필요함을 보여준다.
• PAC 분석 결과 표본 복잡도가 T개의 타겟에 대해 T log T 비례함을 확인하여, 적 행동 모델링에 필요한 데이터 요구 조건에 대한 이론적 근거를 제공한다.
• 예측 정확도와 방어자 성능 간의 괴리 현상을 설명한다: 정확한 모델이라도 전략적 유인 구조를 잘못 반영할 경우 최적의 방어자 전략을 도출하지 못할 수 있음을 규명한다.
• 실행 시간 결과는 NPL가 모수적 모델보다 상당히 느리다는 것을 확인하며, 융통성과 효율성 사이의 상충 관계를 확인한다(예: 121.24초 대비 0.7188초).