[論文レビュー] Deep Reinforcement Learning for Green Security Games with Real-Time Information

Yufei Wang, Zheyuan Ryan Shi+5 more|arXiv (Cornell University)|Nov 6, 2018

Reinforcement Learning in Robotics参考文献 33被引用数 13

ひとこと要約

本稿では、リアルタイム情報と適応的反応を統合する新しい逐次ゲームモデルGSG-Iを提案する。DeDOLと呼ばれる、二重オラクルフレームワーク内にDQNを組み込んだ深層強化学習アルゴリズムを導入し、従来の手法（CFRなど）が非現実的になる大規模なセキュリティゲームにおいて優れた性能を発揮する。

ABSTRACT

Green Security Games (GSGs) have been proposed and applied to optimize patrols conducted by law enforcement agencies in green security domains such as combating poaching, illegal logging and overfishing. However, real-time information such as footprints and agents' subsequent actions upon receiving the information, e.g., rangers following the footprints to chase the poacher, have been neglected in previous work. To fill the gap, we first propose a new game model GSG-I which augments GSGs with sequential movement and the vital element of real-time information. Second, we design a novel deep reinforcement learning-based algorithm, DeDOL, to compute a patrolling strategy that adapts to the real-time information against a best-responding attacker. DeDOL is built upon the double oracle framework and the policy-space response oracle, solving a restricted game and iteratively adding best response strategies to it through training deep Q-networks. Exploring the game structure, DeDOL uses domain-specific heuristic strategies as initial strategies and constructs several local modes for efficient and parallelized training. To our knowledge, this is the first attempt to use Deep Q-Learning for security games.

研究の動機と目的

• 既存のグリーンセキュリティゲームモデルにおけるリアルタイム情報の欠如と適応的反応の不足に対処すること。
• 不完全情報と逐次手番を伴うゼロサムの広範形式ゲームに対するスケーラブルな解決策を開発すること。
• 動的な攻撃行動に適応するパトロール戦略を効率的に計算する深層強化学習アルゴリズムを設計すること。
• 大規模なゲームにおける反証的後悔最小化（CFR）の計算不能性を、分野特有のヒューリスティクスとローカルトレーニングモードを活用することで克服すること。

提案手法

• 防衛者と攻撃者がリアルタイム観測と逐次意思決定を伴うゼロサムの広範形式ゲームモデルGSG-Iを提案する。
• 二重オラクルフレームワークに基づき、戦略空間応答オラクル（PSRO）を統合したDRLベースのアルゴリズムDeDOLを開発する。
• 高次元の行動空間における近似最適応答の学習を可能にするために、深層Qネットワーク（DQN）を用いて純粋戦略をコン act に表現する。
• 各々が特定の攻撃者侵入ポイントに対応するローカルモードを導入し、環境の複雑さを低減し、並列かつ効率的なトレーニングを可能にする。
• 収束を加速させるために、分野特有のヒューリスティクス戦略（例：パラメータ付きランダムウォーク、ランダムスイーピング）を初期戦略として採用する。
• グローバルモードとローカルモードの両方で、チャンスサンプリングと反復的精錬を適用し、探索と剥ぎ取りのバランスを図り、戦略品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、リアルタイム情報を持つグリーンセキュリティゲームにおいて、適応的パトロール戦略を効果的にモデル化できるか？
• RQ2 ローカルモードの統合が、大規模セキュリティゲームにおけるトレーニング効率と戦略品質をどのように向上させるか？
• RQ3 DeDOLは、CFR やバニラPSROといった既存手法に比べ、防衛者利得とスケーラビリティの観点でどの程度優れているか？
• RQ4 ヒューリスティクス初期化戦略は、DRLベースのセキュリティゲームソルバーにおいて収束を顕著に加速できるか？
• RQ5 ローカルモードで学習した戦略は、グローバルモードに再結合された際に、移譲可能で高品質な戦略を生み出すか？

主な発見

• 小規模なゲームでは、DeDOLは反証的後悔最小化（CFR）—広範形式ゲームにおける最先端手法—と同等の防衛者期待利得を達成する。
• 大規模なゲーム（5×5および7×7グリッド）では、DeDOLはバニラPSROおよびランダムスイーピングベースラインを著しく上回り、ローカル＋グローバルモード版が最高の防衛者利得を達成する。
• DeDOLのローカル＋グローバルモード設定は、純粋なローカルまたはグローバルモードのみのトレーニングよりも優れたパフォーマンスを示し、モード固有の戦略学習の有効性を裏付ける。
• CFRに比べてDeDOLは大幅にメモリを節約する。これは、ゲームツリー全体を保存するのではなく、ニューラルネットワークのみを保存するためである。
• 初期ポリシーとしてヒューリスティクス戦略を用いることで、PSROにおけるランダム初期化よりも収束が速く、より優れた最終戦略が得られる。
• DeDOLのDQN表現は、正確な最適応答が計算不能な複雑な環境でも、最適応答を効果的に近似している。