[論文レビュー] Learning Game-Theoretic Models of Multiagent Trajectories Using Implicit Layers

Philipp Geiger, Christoph-Nikolas Straehle|arXiv (Cornell University)|Aug 17, 2020

Time Series Analysis and Forecasting被引用数 6

ひとこと要約

本稿では、局所的ナッシュ均衡を解釈可能な軌跡モードとしてモデル化することで、マルチエージェントの軌跡を予測するエンド・ツー・エンド微分可能アーキテクチャを提案する。このアーキテクチャは、ニューラルネットワークとゲーム理論的推論を統合し、微分可能ゲーム解法に暗黙的層を用いる。エージェントの好みと均衡の精錬を学習し、ハイウェイ合流シナリオで最先端の性能を達成する。解釈可能で転送可能な表現を提供する。

ABSTRACT

For prediction of interacting agents' trajectories, we propose an end-to-end trainable architecture that hybridizes neural nets with game-theoretic reasoning, has interpretable intermediate representations, and transfers to downstream decision making. It uses a net that reveals preferences from the agents' past joint trajectory, and a differentiable implicit layer that maps these preferences to local Nash equilibria, forming the modes of the predicted future trajectory. Additionally, it learns an equilibrium refinement concept. For tractability, we introduce a new class of continuous potential games and an equilibrium-separating partition of the action space. We provide theoretical results for explicit gradients and soundness. In experiments, we evaluate our approach on two real-world data sets, where we predict highway driver merging trajectories, and on a simple decision-making transfer task.

研究の動機と目的

• 自動運転のような安全が重要な分野におけるマルチエージェント軌跡予測の課題に取り組む。ここでは、解釈可能性と検証可能性が不可欠である。
• 道具立てのよいゲーム理論的原則（例：道具的合理性、ナッシュ均衡）をデータ駆動型モデルに統合し、一般化性能と意思決定の転送性を向上させる。
• ゲーム理論的概念（例：好み、均衡、精錬）を意味のある潜在表現に符号化することで、モデルの解釈可能性を保証する。
• 微分可能暗黙的層を用いて、従来のゲーム理論的解法概念の計算的非効率性を克服し、正確な勾配を介したエンド・ツー・エンド学習を可能にする。
• 後続の意思決定や均衡精錬の学習を、観測データから可能にするモジュール型でスケーラブルなアーキテクチャを開発する。

提案手法

• マルチエージェント軌跡相互作用をモデル化するための新しい連続的ポテンシャルゲームのクラスを提案し、局所的ナッシュ均衡が単一の目的関数の局所最適に一致することを保証する。
• 局所均衡の計算を容易にかつ連続的に保つために、行動空間の均衡分離型凹型分割を導入する。
• 陰関数定理に基づく暗黙的層を用い、エージェントの好み（過去の軌跡から得る）を局所的ナッシュ均衡へマッピングする。これにより、ゲームソルバーを通り抜ける正確なバックプロパゲーションが可能になる。
• 観察された共同軌跡からエージェントの効用パラメータを推定する「好みの露呈ネットワーク」と、複数の均衡から選択基準を学習する「均衡精錬ネットワーク」を設計する。
• 各モードが異なる局所的ナッシュ均衡に対応するように、軌跡パラメータ化および重み付けネットワークを採用し、マルチモーダル予測を生成する。
• 最適性条件を用いて暗黙的層の明示的勾配式を導出することで、理論的整合性を確保するとともに、効率的な学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 ゲーム理論的推論とディープラーニングを統合した、微分可能でエンド・ツー・エンド学習可能なアーキテクチャを設計できるか？
• RQ2 モデル内の潜在表現が明確なゲーム理論的解釈を持つようにできるか。これにより、解釈可能性と検証可能性が確保されるか？
• RQ3 正確な勾配を有する暗黙的層を用いて、連続的行動ゲームにおける局所的ナッシュ均衡を、軌跡予測に応用できるか？
• RQ4 モデルはデータから均衡精錬概念を学習できるか。これにより、ゲーム理論における古典的課題である均衡選択問題が解決できるか？
• RQ5 提案アーキテクチャは、実世界のシナリオに十分に一般化可能であり、後続の意思決定タスクへの転送を可能にするか？

主な発見

• 提案アーキテクチャは、新たにリリースされたものを含む2つの実世界のハイウェイ合流軌跡予測データセットで最先端の性能を達成した。
• モデルはマルチモーダルな将来の軌跡を正しく予測でき、各モードが明確に異なる局所的ナッシュ均衡に対応しており、例えばどの車両が先に合流するかといった状況を的確に捉えている。
• 連続的ポテンシャルゲームの使用により、局所的ナッシュ均衡が安定的であり、局所最適に一致することが保証され、探索が簡素化され、収束性が向上した。
• 暗黙的層により、ゲームソルバーを通り抜ける正確な勾配が得られ、理論的整合性と微分可能性を保証するエンド・ツー・エンド学習が可能になった。
• 均衡精錬および重み付けネットワークは、均衡間のデータ駆動型選択ルールを学習し、古典的ゲーム理論の非一意的予測問題を効果的に解決した。
• モデルは後続の意思決定タスクへの強い転送性を示し、自動運転のような安全が重要な応用分野における実用性を示唆している。