[論文レビュー] Regstar: Efficient Strategy Synthesis for Adversarial Patrolling Games

David Klaška, Antonı́n Kučera+2 more|arXiv (Cornell University)|Aug 19, 2021

Artificial Intelligence in Games被引用数 2

ひとこと要約

Regstar は、任意の辺長と不完全な検出を伴う一般グラフ上の敵対的パトロールゲームにおける効率的な戦略合成のための、微分可能プログラミングに基づく新しいアルゴリズムである。Regstar は効率的な手順により、守備側戦略の値と勾配を計算し、勾配上昇最適化を可能にすることで、実世界の複雑なパトロールグラフにおいて先行手法を上回る性能を発揮する。

ABSTRACT

We design a new efficient strategy synthesis method applicable to adversarial patrolling problems on graphs with arbitrary-length edges and possibly imperfect intrusion detection. The core ingredient is an efficient algorithm for computing the value and the gradient of a function assigning to every strategy its "protection" achieved. This allows for designing an efficient strategy improvement algorithm by differentiable programming and optimization techniques. Our method is the first one applicable to real-world patrolling graphs of reasonable sizes. It outperforms the state-of-the-art strategy synthesis algorithm by a margin.

研究の動機と目的

• 均一な辺長またはメモリレス戦略に限定される既存のパトロールゲームアルゴリズムにおけるスケーラビリティと表現力のギャップを解消すること。
• 任意の辺長と不完全な侵入検出を伴う実世界のパトロールグラフに適用可能な戦略合成手法を設計すること。
• 有限の履歴に依存する正則戦略が、一般戦略に比べて任意に最適に近い保護を達成できることを証明し、それらをメモリレスまたは一般戦略よりも優先して使用することの正当性を示すこと。
• 閉形式の値計算が困難である問題を克服するため、守備側戦略の勾配に基づく最適化を可能にする効率的なアルゴリズムを開発すること。
• 実世界のインスタンス、特にATMネットワークや建物のレイアウトを含む、実用的応用性と優位性を実証すること。

提案手法

• 戦略パラメータに関して、値関数 Val(γ) が微分可能であることを証明することで、守備側戦略の合成を微分可能最適化問題として定式化すること。
• 閉形式表現のサイズが指数的であるにもかかわらず、正則戦略のための Val(γ) の値と勾配を効率的に計算するための新規で効率的なアルゴリズムを設計すること。
• 微分可能プログラミング技術を活用し、正則守備戦略の空間における勾配上昇最適化を可能にすること。
• 複数のランダムな正則戦略を初期化し、勾配上昇により改善し、最も性能の良いものを返す戦略改善ループを構築すること。
• 履歴を δ-類似クラスにグループ化するメモリ抽象化を実装することで、状態空間を縮小しつつ、最適戦略との誤差を ε 以内に保つこと。
• 有限時間枠組みにおける時間に伴うスケーリング問題を回避するため、無限時間枠モデルを適用すること。

実験結果

リサーチクエスチョン

• RQ1 有限の履歴に依存する正則戦略は、敵対的パトロールゲームにおいて、一般戦略に比べて任意に最適に近い保護を達成できるか？
• RQ2 任意の辺長を伴うグラフにおける正則戦略の保護関数の値と勾配を計算することが可能か？
• RQ3 微分可能プログラミング技術は、敵対的パトロールゲームにおける戦略合成に効果的に適用可能で、勾配に基づく最適化を可能にするか？
• RQ4 提案手法は、実世界および合成されたパトロールグラフにおいて、既存のアルゴリズムと比較してどのように性能を発揮するか？
• RQ5 ATMネットワークや通路を有する建物のレイアウトのような実世界インスタンスにおいて、この手法の実用的スケーラビリティはどの程度か？

主な発見

• Regstar は、任意の辺長と不完全な検出を伴う実世界のパトロールグラフにおける守備戦略の効率的合成が可能な、最初のアルゴリズムである。
• Klaška ら [2018] の最先端アルゴリズムよりも速度とスケーラビリティで優れており、従来不可能とされていたインスタンスを解消できた。
• モンリオールの18台のATMからなる実世界ネットワークにおいて、最適戦略を効果的に計算し、実用的応用性を実証した。
• 通路を有する建物のようなグラフにおける実験では、履歴に依存する正則戦略がメモリレス戦略を著しく上回り、履歴情報の重要性を確認した。
• 理論的分析により、正則戦略が最適に任意に近い保護を達成できることを証明し、この戦略クラスに制限することの正当性を示した。
• 勾配計算手順により、勾配上昇による戦略改善が効果的に可能となり、多様なグラフトポロジーにわたり、高保護戦略に収束することが確認された。