[論文レビュー] Reinforcement Learning for Unified Allocation and Patrolling in Signaling Games with Uncertainty

Aravind Venugopal, Elizabeth Bondi+4 more|arXiv (Cornell University)|Dec 18, 2020

Reinforcement Learning in Robotics参考文献 24被引用数 4

ひとこと要約

本稿では、不確実性下での信号ゲームにおける防御側の割り当てとパトロールを統合する強化学習フレームワーク、CombSGPOを提案する。パトロールには深層二重Qネットワーク（DDQN）を、割り当て戦略にはアクター・クリティックネットワークを用い、OptGradFP や GUARDSS といったベースラインと比較して、15x15 および 10x10 グリッド環境において、異なる動物密度分布と不確実性レベルの下で優れた性能を達成した。

ABSTRACT

Green Security Games (GSGs) have been successfully used in the protection of valuable resources such as fisheries, forests and wildlife. While real-world deployment involves both resource allocation and subsequent coordinated patrolling with communication and real-time, uncertain information, previous game models do not fully address both of these stages simultaneously. Furthermore, adopting existing solution strategies is difficult since they do not scale well for larger, more complex variants of the game models. We therefore first propose a novel GSG model that combines defender allocation, patrolling, real-time drone notification to human patrollers, and drones sending warning signals to attackers. The model further incorporates uncertainty for real-time decision-making within a team of drones and human patrollers. Second, we present CombSGPO, a novel and scalable algorithm based on reinforcement learning, to compute a defender strategy for this game model. CombSGPO performs policy search over a multi-dimensional, discrete action space to compute an allocation strategy that is best suited to a best-response patrolling strategy for the defender, learnt by training a multi-agent Deep Q-Network. We show via experiments that CombSGPO converges to better strategies and is more scalable than comparable approaches. Third, we provide a detailed analysis of the coordination and signaling behavior learnt by CombSGPO, showing group formation between defender resources and patrolling formations based on signaling and notifications between resources. Importantly, we find that strategic signaling emerges in the final learnt strategy. Finally, we perform experiments to evaluate these strategies under different levels of uncertainty.

研究の動機と目的

• 環境的不確実性を伴う信号ゲームにおける割り当てとパトロールの調整の課題に対処すること。
• 地理的特徴が影響する空間的に変化する標的の魅力に基づいて、防御側および攻撃側の行動をモデル化すること。
• 割り当てとパトロール戦略を同時に最適化する統合型強化学習フレームワークの開発。
• ランダムおよび空間的に分布する動物密度を含む、多様な不確実性条件での性能評価。
• OptGradFP や GUARDSS といった既存のベースラインを、利得と学習安定性の面で上回ること。

提案手法

• レンジャーおよびドローンのパトロールに、2層の3x3畳み込み層、その後に2層の全結合層（128および64ユニット）とReLU活性化関数を用いた深層二重Qネットワーク（DDQN）を適用。
• 割り当て戦略には別個のアクター・クリティックネットワークを採用：アクターはtanhおよびシグモイド活性化関数を用いて行動埋め込みの平均と分散を予測し、クリティックは単一出力で期待報酬を予測。
• ε-greedy探索を適用し、εを25,000ステップにわたり1.0から0.05へ線形に減少させ、報酬形状に割引率γ = 0.99を適用。
• 川、道路、公園境界からの距離の重み付き順位を用いて空間的動物密度を構築し、これらの成分の重み付き平均から最終的な密度を導出。
• 15x15グリッドでは、Adam最適化子（β₁ = 0.9、β₂ = 0.999）を用い、リプレイバッファサイズ1.92e5でDDQNを訓練。
• アクター用ネットワークには、15x15グリッドで3e-4、10x10グリッドで3e-5の学習率を用い、バッチサイズnₛ = 10で競合的ポリシー最適化を実施。

実験結果

リサーチクエスチョン

• RQ1 統合型の深層強化学習フレームワークは、不確実性下の信号ゲームにおける割り当てとパトロールの調整を効果的に可能にするか？
• RQ2 地理的特徴によって形作られる空間的構造を持つ動物密度は、防御側戦略の学習とパフォーマンスにどのように影響するか？
• RQ3 異なる不確実性条件において、OptGradFP や GUARDSS といったベースラインと比較して、CombSGPO は防御側の利得と学習安定性の面で優れているか？
• RQ4 15x15および10x10グリッド環境における学習収束性とパフォーマンスに、ネットワークアーキテクチャとハイパーパrameterの変化がどのように影響するか？
• RQ5 本手法は動物密度分布や環境的不確実性の変化に対して、どれほど頑健であるか？

主な発見

• CombSGPO は、15x15および10x10グリッドの全不確実性設定において、OptGradFP や GUARDSS と比較して平均防御側利得が顕著に優れている。
• 10x10グリッドでは、SR（単一ランダム）、SS（単一空間的）、MR（複数ランダム）、MS（複数空間的）のすべての条件下で、CombSGPO がベースラインを上回る平均利得を達成した。
• トレーニング報酬曲線から、CombSGPO は全不確実性レベルにおいて、OptGradFP よりも速く収束し、より高い報酬で安定化することが確認された。
• 100回のサンプルエピソードのヒートマップ可視化から、CombSGPO は OptGradFP や PG ベースラインと比較して、より効果的な攻撃者予測パターンを学習していることが裏付けられた。
• 本モデルは、異なるグリッドサイズおよび動物密度分布に対しても強固なパフォーマンスを維持しており、環境的不確実性に対して頑健であることが示された。
• 重み付き距離ベースの動物密度モデリングの導入により、戦略的リアリズムが向上し、防御側ポリシーの学習が改善された。