[論文レビュー] Inference-Based Strategy Alignment for General-Sum Differential Games

Lasse Peters, David Fridovich-Keil+2 more|arXiv (Cornell University)|Feb 11, 2020

Artificial Intelligence in Games参考文献 34被引用数 7

ひとこと要約

本稿では、複数の均衡を有する一般和微分ゲームに対して、推論に基づく戦略アライメントフレームワークを提案する。粒子フィルタリングを用いて他のエージェントが標的としている均衡を推論し、それに従ってロボットの戦略を調整する。この手法により、リアルタイムかつ高精度な軌道予測が可能となり、全プレイヤーのコスト低減が達成される。実装は、最大5名のエージェントを含む多人数のヒューマンロボットナビゲーションシミュレーションで検証された。

ABSTRACT

In many settings where multiple agents interact, the optimal choices for each agent depend heavily on the choices of the others. These coupled interactions are well-described by a general-sum differential game, in which players have differing objectives, the state evolves in continuous time, and optimal play may be characterized by one of many equilibrium concepts, e.g., a Nash equilibrium. Often, problems admit multiple equilibria. From the perspective of a single agent in such a game, this multiplicity of solutions can introduce uncertainty about how other agents will behave. This paper proposes a general framework for resolving ambiguity between equilibria by reasoning about the equilibrium other agents are aiming for. We demonstrate this framework in simulations of a multi-player human-robot navigation problem that yields two main conclusions: First, by inferring which equilibrium humans are operating at, the robot is able to predict trajectories more accurately, and second, by discovering and aligning itself to this equilibrium the robot is able to reduce the cost for all players.

研究の動機と目的

• 複数の均衡が存在するためエージェント行動に不確実性をもたらす一般和微分ゲームにおける戦略アライメント問題に対処すること。
• 直接的な通信なしに、他のエージェントがどの均衡を標的にしているかを自律エージェントが推論できること。
• 推論された均衡に従ってロボットの戦略をアライメントさせることで、軌道予測の精度向上とシステム全体のコスト低減を実現すること。
• 局所的なナッシュ均衡を有するマルチエージェント連続時間ゲームに対して、リアルタイムかつスケーラブルな計画フレームワークを構築すること。
• 粒子フィルタリングを用いて可能な均衡の上に信念を維持することで、不確実性下での頑健な意思決定を可能にすること。

提案手法

• 他のエージェントの標的均衡を隠れ状態としてモデル化し、観測された行動とサンプリングされた局所ナッシュ戦略を用いて粒子フィルタリングにより推論する。
• 各粒子は候補となる均衡とその関連するフィードバック戦略を表し、観測された行動に基づいて更新される。
• 信念更新には、各候補均衡下での予測軌道と観測されたエージェントの軌道を比較する尤度関数が使用される。
• ロボットは信念分布から最も可能性の高い均衡を用いて計画を行うことで、戦略アライメントを実現する。
• 本手法は、連続時間一般和微分ゲームにおける局所ナッシュ均衡を効率的に計算する最近の進展を活用している。
• リceding horizonアプローチによりリアルタイム動作を実現し、粒子の刈り取りと均衡ソルバのウォームスタートによって実行時間の短縮が図られている。

実験結果

リサーチクエスチョン

• RQ1 自律エージェントは、複数の均衡を有する一般和微分ゲームにおいて、他のエージェントがどの均衡を標的にしているかをどのように推論できるか？
• RQ2 他のエージェントの標的均衡を推論することで、マルチエージェントナビゲーションのシナリオにおける軌道予測精度が向上するか？
• RQ3 推論された均衡に従ってロボットの戦略をアライメントさせることで、ランダムまたは不一致な戦略選択と比較して、全プレイヤーのコストが低減するか？
• RQ4 高次元のマルチエージェント設定において、推論ベースの戦略アライメントフレームワークのスケーラビリティはどの程度か？
• RQ5 均衡計算と信念更新の計算コストが伴うにもかかわらず、フレームワークはリアルタイム性能を維持できるか？

主な発見

• 3エージェントのナビゲーションシナリオにおいて、人間エージェントの標的均衡を推論することで、ロボットは著しく高い精度の軌道予測を達成した。
• 推論された均衡に基づく戦略アライメントにより、全プレイヤーのコストが低減され、エゴエージェントではコスト効率の顕著な向上が見られた。
• 3エージェントシナリオではリアルタイム性能を達成し、1回の計画ステップあたり平均2 ms未満の実行時間が実現された。
• 5エージェントシナリオでは、信念の精錬後、平均3.2秒の計画時間がかかったが、粒子の刈り取りとウォームスタートにより計算負荷が軽減された。
• フレームワークはスケーラビリティと頑健性を示し、エージェント数の増加や均衡の多様性の増大に対しても性能を維持した。
• 信念ベースのアプローチにより、ランダムまたは不一致な均衡を仮定するベースラインに比べ、特に複雑で不確実性の高い状況下で優れた性能を発揮した。