[論文レビュー] Evolutionary Approach to Security Games with Signaling

Adam Żychowski, Jacek Mańdziuk+4 more|arXiv (Cornell University)|Apr 29, 2022

Reinforcement Learning in Robotics参考文献 20被引用数 4

ひとこと要約

本稿では、信号付きセキュリティゲーム（SGS）に対する最初の進化的計算手法であるEASGSを提案する。EASGSは、染色体ベースの表現と特化した遺伝的演算子を用い、効率的なスケーリングを実現する。EASGSは、期待報酬、時間スケーラビリティ、メモリ効率の面で、最先端の手法を上回っている。特に、密なグラフおよび局所的に密集したグラフにおいて顕著な優位性を示し、342のベンチマークインスタンスにおいて、ほぼ一定のメモリ使用量と安定した収束性を維持しながら、優れた性能を発揮している。

ABSTRACT

Green Security Games have become a popular way to model scenarios involving the protection of natural resources, such as wildlife. Sensors (e.g. drones equipped with cameras) have also begun to play a role in these scenarios by providing real-time information. Incorporating both human and sensor defender resources strategically is the subject of recent work on Security Games with Signaling (SGS). However, current methods to solve SGS do not scale well in terms of time or memory. We therefore propose a novel approach to SGS, which, for the first time in this domain, employs an Evolutionary Computation paradigm: EASGS. EASGS effectively searches the huge SGS solution space via suitable solution encoding in a chromosome and a specially-designed set of operators. The operators include three types of mutations, each focusing on a particular aspect of the SGS solution, optimized crossover and a local coverage improvement scheme (a memetic aspect of EASGS). We also introduce a new set of benchmark games, based on dense or locally-dense graphs that reflect real-world SGS settings. In the majority of 342 test game instances, EASGS outperforms state-of-the-art methods, including a reinforcement learning method, in terms of time scalability, nearly constant memory utilization, and quality of the returned defender's strategies (expected payoffs).

研究の動機と目的

• 線形計画法（LP）/整数線形計画法（MILP）および強化学習に基づく従来のSGSソルバーの時間的・メモリ的スケーラビリティの低さを是正すること。
• センサーとパトロール要員を含む大規模で現実世界に近いシナリオを扱える、スケーラブルなメタヒューリスティック手法を構築すること。
• SGSの構造的・戦略的複雑性に適合した、染色体表現および進化的演算子を設計すること。
• 現実世界の保護活動状況を反映した、密なグラフおよび局所的に密集したグラフに基づく新しいベンチマークスイートを提供すること。
• 期待報酬、実行時間、メモリ消費量の観点から、EASGSを最先端の手法と比較して、多様なゲームインスタンスにおいて評価すること。

提案手法

• EASGSは、標的頂点におけるパトロール要員およびセンサーの混合戦略を符号化する、ディフェンダー中心の染色体表現を用いる。
• センサー割り当て、パトロール要員割り当て、信号戦略のそれぞれを対象とする3つの特化した変異演算子を採用する。
• 妥当性と解の品質を保ちながら親解を組み合わせる、新規な交叉演算子を導入する。
• 多様性を維持し、早期収束を防ぐための、集団のリフレッシュスキームを採用する。
• 有望な解に対して局所最適化を実行することで、カバレッジと報酬を向上させる、メタヒューリスティックな局所探索部品を統合する。
• アルゴリズムは、グラフ密度に依存しないアクション複雑度を実装しており、疎なグラフと密なグラフの両方で一貫した性能を発揮できる。

実験結果

リサーチクエスチョン

• RQ1 進化的計算は、従来の最適化手法のスケーリング制限を克服するために、信号付きセキュリティゲームに効果的に適用可能か？
• RQ2 EASGSは、最先端のMILPおよび強化学習ベースの手法と比較して、期待報酬および解の質においてどのように差をつけるか？
• RQ3 EASGSは、さまざまなグラフ密度およびサイズにおいて、低く安定したメモリ使用量を維持できるか？
• RQ4 EASGSは、現実世界の保護活動状況を反映した密なグラフおよび局所的に密集したグラフにおいて、既存の手法よりも優れた時間スケーラビリティを達成できるか？
• RQ5 EASGSの解は、複数回の実行においてどれほど頑健で一貫性があるか？また、すべての標的がカバーされているかを保証できるか？

主な発見

• 342のテストゲームインスタンスのうち200件において、EASGSは最高の期待報酬を達成し、特定のベンチマークタイプにおいて統計的に有意な優位性を示した。
• EASGSは、特に密なグラフにおいて優れた時間スケーラビリティを示し、SBP+Wおよび他の手法を大きく上回った。
• 100頂点のゲームでさえ、メモリ消費量が150 MB未満でほぼ一定に保たれた一方、SELPは小さなゲームでも200 GBを超えるメモリを消費した。
• 30回の実行における平均標準偏差は0.86（平均報酬の約1.2％）であり、高い解の安定性を示した。
• EASGSのすべての解が完全な標的カバレッジを達成しており、未カバーの頂点は一切なく、パトロール要員は高次数および高価値の標的に優先的に割り当てられた。
• センサーは、パトロール対象の標的に接続された頂点に主に割り当てられており、防衛者の目的と戦略的に整合していた。