[論文レビュー] Learning Adversary Behavior in Security Games: A PAC Model Perspective

Arunesh Sinha, Debarun Kar+1 more|arXiv (Cornell University)|Oct 30, 2015

Adversarial Robustness in Machine Learning参考文献 32被引用数 12

ひとこと要約

本稿は、セキュリティゲームにおける限定的合理性をモデル化するためのPAC学習フレームワークを導入し、サンプル複雑性およびディフェンダーの利得に関する理論的保証を可能にした。実世界の盗難データを用いた分析を通じて、十分なデータが利用可能な状況下で、パラメトリックモデル（例：SUQR）を上回る細分化された予測性能を示す、新たなノンパラメトリック・リプシッツ（NPL）モデルを提案した。

ABSTRACT

Recent applications of Stackelberg Security Games (SSG), from wildlife crime to urban crime, have employed machine learning tools to learn and predict adversary behavior using available data about defender-adversary interactions. Given these recent developments, this paper commits to an approach of directly learning the response function of the adversary. Using the PAC model, this paper lays a firm theoretical foundation for learning in SSGs (e.g., theoretically answer questions about the numbers of samples required to learn adversary behavior) and provides utility guarantees when the learned adversary model is used to plan the defender's strategy. The paper also aims to answer practical questions such as how much more data is needed to improve an adversary model's accuracy. Additionally, we explain a recently observed phenomenon that prediction accuracy of learned adversary behavior is not enough to discover the utility maximizing defender strategy. We provide four main contributions: (1) a PAC model of learning adversary response functions in SSGs; (2) PAC-model analysis of the learning of key, existing bounded rationality models in SSGs; (3) an entirely new approach to adversary modeling based on a non-parametric class of response functions with PAC-model analysis and (4) identification of conditions under which computing the best defender strategy against the learned adversary behavior is indeed the optimal strategy. Finally, we conduct experiments with real-world data from a national park in Uganda, showing the benefit of our new adversary modeling approach and verification of our PAC model predictions.

研究の動機と目的

• スタッケルバーグ・セキュリティゲーム（SSG）における敵対的反応関数の学習の理論的基盤をPACモデルを用いて構築すること。
• 学習済み敵対的モデルに基づくディフェンダー戦略のサンプルサイズ要件や利得の上限といった実用的問題に答えること。
• 敵対的行動の予測精度が非常に高いにもかかわらず、最適なディフェンダー戦略の性能が得られないという経験的現象を説明すること。
• 最小限の仮定で、複雑な敵対的行動を柔軟にモデル化できる、新たなノンパラメトリックな反応関数クラス（NPL）を構築すること。
• 学習済み敵対的モデルに対する最良のディフェンダー戦略が、真のゲームにおいても最適戦略となる条件を同定すること。

提案手法

• 敵対的反応関数の学習におけるサンプル複雑性と一般化誤差を分析するため、おそらく近似的に正しい（PAC）学習モデルを採用する。
• 特定のパラメトリックな関数族に制限を設けずに、観測された攻撃データ上での尤度最大化として学習問題を定式化する。
• ディフェンダー戦略から攻撃確率分布への写像を表す反応関数のPAC学習可能性を、ベクトル値関数空間のフレームワーク（Hausslerの枠組み）を用いて分析する。
• SUQRモデル（限定的合理性の標準的パラメトリックモデル）のためのより緊密なサンプル複雑性バウンドを導出するための新規な分解技術を開発し、Hausslerのバウンドを直接適用するのを上回る。
• リプシッツ連続性制約によって定義される、新たな反応関数クラス（NPL）を導入し、仮定を最小限に抑えつつ敵対的行動の柔軟なモデル化を可能にする。
• 正則化を施した経験的リスク最小化を用いてNPLモデルを学習し、ウガンダの実世界の盗難データおよび合成されたAMTデータを用いて性能を検証した。

実験結果

リサーチクエスチョン

• RQ1 スタッケルバーグ・セキュリティゲームにおいて、所定の精度水準で敵対的行動の信頼性のあるモデルを学習するために、どの程度のサンプル数が必要か？
• RQ2 学習済み敵対的モデルに基づいて計算されたディフェンダー戦略に対して、どのような利得保証が得られるか？
• RQ3 敵対的行動の予測精度が非常に高いにもかかわらず、常に高性能なディフェンダー戦略が得られないのはなぜか？また、この不一致を解消する条件は何か？
• RQ4 特にデータ量が増加する際、NPLのようなノンパラメトリックモデルとSUQRなどのパラメトリックモデルとを比較した場合、複雑な敵対的行動の捉え込みにおいてどちらが優れているか？
• RQ5 学習済み敵対的モデルに対する最適なディフェンダー戦略が、真のゲームにおいても最適戦略となるのはどのような条件下か？

主な発見

• ウガンダのデータの100%を使用した場合、NPLモデルは細分化された予測誤差α = 2.15を達成し、SUQR（α = 2.9）および一般化SUQR（α = 2.47）を上回った。
• ウガンダのデータの100%を用いた場合、NPLモデルはSUQRに比べ25%の予測誤差低減を達成し、複雑な敵対的行動のモデル化能力が優れていることを示した。
• AMTデータセット（より綺麗でサンプル数が少ない）では、SUQRがNPLを上回った（α = 0.7188 対 121.24）。これは、NPLがその潜在的性能を発揮するにはより多くのデータを必要とすることを示している。
• PAC解析により、サンプル複雑性がTターゲットに対してT log Tのスケーリングに従うことが判明し、敵対的行動モデル化におけるデータ要件の理論的根拠が得られた。
• 本研究は、予測精度とディフェンダー戦略のパフォーマンスの間の不一致を説明した：正確なモデルであっても、戦略的インcentiveを正しく再現できない場合があり、その結果、最適でないディフェンダー戦略が導かれる可能性がある。
• 実行時間の結果から、NPLはパラメトリックモデル（例：1つのスプリットで121.24秒 対 0.7188秒）よりも著しく遅く、柔軟性と効率性のトレードオフが確認された。