[論文レビュー] Machine Learning Techniques for Stackelberg Security Games: a Survey

Giuseppe De Nittis, Francesco Trovò|arXiv (Cornell University)|Sep 29, 2016

Reinforcement Learning in Robotics参考文献 19被引用数 3

ひとこと要約

本調査では、Stackelbergセキュリティゲーム（SSG）における機械学習技術を提示し、人間の行動を反映する限定的合理性を持つ攻撃者をモデル化し、レジットに基づく手法を用いて未知の攻撃者報酬を推定し、WhittleインデックスとPOMDPベースの計画法を用いたオンライン学習を適用する。また、資源保護ゲームにおける最適な保護者戦略のための信念状態サンプリングを改善するため、ギブスポンプリングとモンテカルロツリー探索（MCTS）を組み合わせたGMOPと呼ばれるアルゴリズムを提案する。

ABSTRACT

The present survey aims at presenting the current machine learning techniques employed in security games domains. Specifically, we focused on papers and works developed by the Teamcore of University of Southern California, which deepened different directions in this field. After a brief introduction on Stackelberg Security Games (SSGs) and the poaching setting, the rest of the work presents how to model a boundedly rational attacker taking into account her human behavior, then describes how to face the problem of having attacker's payoffs not defined and how to estimate them and, finally, presents how online learning techniques have been exploited to learn a model of the attacker.

研究の動機と目的

• 完全な合理性に背く攻撃者をモデル化する課題に対処し、SSGに人間の行動を組み込むことにより、現実的でより優れた防衛戦略を実現すること。
• 報酬が直接観測できない状況において、防衛者のレジットを代理指標として用い、未知の攻撃者報酬を推定すること。
• 歴史的観測と信念更新を用いて、リアルタイムで防衛戦略を動的に適応させるオンライン学習手法を開発すること。
• 野生生物保護や密猟防止作戦のような動的で部分的に観測可能な環境における意思決定を改善すること。
• POMDPにおける信念状態の正確な表現を可能にするギブスポンプリングを活用した、新規のオンライン計画アルゴリズム（GMOP）を提案すること。

提案手法

• 人間の意思決定バイアスを反映する適応的効用関数を組み込んだSUQRおよびSHARPフレームワークを用いて、限定的合理性を持つ攻撃者をモデル化する。
• 防衛者のレジットを分析することで攻撃者報酬を推定し、直接的な報酬情報が得られない状況でも、報酬構造を推論するレジットベースの解法を用いる。
• 防衛者の問題を、落ち着かないマルチアームバンディット（RMAB）問題として定式化し、Whittleインデックス理論を用いてインデックス可能ポリシーを導出する。
• ギブスポンプリングを用いて真の信念状態から正確なサンプルを抽出するGMOPと呼ばれるオンライン計画アルゴリズムを提案する。これは、パーティクルフィルタ近似法よりも優れている。
• 計数状態が既知で、時間に依存しない効用状態を持つ特別なPOMDPを構築し、ギブスポンプリングによる直接的信念サンプリングを可能にする。
• ギブスポンプリングとモンテカルロツリー探索（MCTS）を統合し、不確実性下での最適防衛戦略を計画する。サンプルされた信念状態を用いて行動選択を行う。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、限定的合理性と人間の意思決定バイアスを組み込んだSSGにおいて、攻撃者の行動を現実的かつ正確にモデル化できるか？
• RQ2 報酬が直接観測可能でない、または定義されていない状況において、どのような手法が攻撃者報酬を推定できるか？
• RQ3 不完全情報が与えられる繰り返しセキュリティゲームにおいて、オンライン学習技術をどのように活用して防衛戦略を動的に適応可能にするか？
• RQ4 ギブスポンプリングによる正確な信念状態サンプリングと、パーティクルフィルタなどの近似手法との比較において、POMDPベースの計画における防衛戦略の質にどのような影響を与えるか？
• RQ5 Whittleインデックスに基づくポリシーは、探索と活用のバランスを取るため、セキュリティゲームにおける落ち着かないバンディット定式化に効果的に適用可能か？

主な発見

• SUQRおよびSHARPモデルは、攻撃者の限定的合理性を効果的に捉えており、SSGにおける防衛戦略の現実性と性能を向上させた。
• レジットベースの手法により、効用関数の明示的知識がなくても、攻撃者報酬を推定可能であり、効果的な戦略計算が可能になった。
• Whittleインデックスアプローチは、落ち着かないバンディット定式化におけるインデックス可能性の十分条件を提供し、動的セキュリティゲームにおける効率的なオンライン学習を可能にした。
• GMOPは、真の信念状態から正確なサンプルを抽出するギブスポンプリングを用いることで、パーティクルフィルタベースのサンプリングを上回り、より正確で安定したポリシー学習を実現した。
• GMOPにおけるギブスポンプリングとMCTSの統合により、より優れた行動選択が可能になり、部分的に観測可能なセキュリティゲームにおける期待報酬が向上した。
• 計数状態が既知で、効用状態が固定された特別なPOMDP構造により、効率的な信念更新と直接的サンプリングが可能となり、オンライン計画の実行可能性とスケーラビリティが確保された。