[論文レビュー] Maximum-Entropy Multi-Agent Dynamic Games: Forward and Inverse Solutions

Negar Mehr, Mingyu Wang+1 more|arXiv (Cornell University)|Oct 3, 2021

Traffic control and management被引用数 6

ひとこと要約

本稿では、連続的な状態と行動を伴う、制限付き合理的性を示す複数エージェント動的ゲームにおける、新たな確率的ナッシュ均衡であるエントロピー・コスト均衡（ECE）を提案する。線形二次ガウス（LQG）設定では、ECEフィードバック方策を正確に計算するリカッチに基づくアルゴリズムを提案し、非線形ケースには反復的手法を適用することで、ゲーム理論的相互作用と制限付き合理的性を考慮した、模倣データからのエージェントのコスト関数の高精度な逆学習を可能にする。

ABSTRACT

In this paper, we study the problem of multiple stochastic agents interacting in a dynamic game scenario with continuous state and action spaces. We define a new notion of stochastic Nash equilibrium for boundedly rational agents, which we call the Entropic Cost Equilibrium (ECE). We show that ECE is a natural extension to multiple agents of Maximum Entropy optimality for single agents. We solve both the "forward" and "inverse" problems for the multi-agent ECE game. For the forward problem, we provide a Riccati algorithm to compute closed-form ECE feedback policies for the agents, which are exact in the Linear-Quadratic-Gaussian case. We give an iterative variant to find locally ECE feedback policies for the nonlinear case. For the inverse problem, we present an algorithm to infer the cost functions of the multiple interacting agents given noisy, boundedly rational input and state trajectory examples from agents acting in an ECE. The effectiveness of our algorithms is demonstrated in a simulated multi-agent collision avoidance scenario, and with data from the INTERACTION traffic dataset. In both cases, we show that, by taking into account the agents' game theoretic interactions using our algorithm, a more accurate model of agents' costs can be learned, compared with standard inverse optimal control methods.

研究の動機と目的

• 人間の意思決定にノイズと制限付き合理的性が存在する複数エージェント相互作用系におけるコスト関数の学習課題に取り組むこと。
• 最大エントロピー最適性を複数エージェント設定に拡張する、新たな均衡概念「エントロピー・コスト均衡（ECE）」を形式化すること。
• 線形二次ガウス（LQG）ゲームにおいて、ECEフィードバック方策を閉形式で計算し、非線形動的システムに対しては反復的に解くことで、前向き問題を解くこと。
• ゲーム理論的整合性を保ちながら、ノイズが混在する制限付き合理的な軌道の模倣データからエージェントのコスト関数を推定することで、逆問題を解くこと。
• 標準的なIRL/IOC手法よりも、逆モデリングの精度を向上させるために、エージェント間のフィードバック相互作用を明示的にモデル化すること。

提案手法

• 最大エントロピー方策分布を用いて制限付き合理的性を組み込む、確率的ナッシュ均衡としてのエントロピー・コスト均衡（ECE）を定義する。
• 線形二次ガウス（LQG）ゲームにおいて、ECEフィードバック方策を正確に計算するリカッチ型再帰式を導出する。これはLQRおよびLQGameの解に類似している。
• 一般の動的システムおよびコスト関数を有する非線形複数エージェント系において、ECE方策を近似する反復的アルゴリズムを提案する。
• 逆問題を特徴量の期待値マッチングタスクとして定式化し、ECE方策が模倣データからの経験的特徴平均と一致するように、コスト関数の重みを学習する。
• 動的プログラミングと二次的コスト・トゥ・ゴール構造を用いて、最適コスト・トゥ・ゴール関数が二次的のまま保たれることを証明し、方策パラメータの再帰的計算を可能にする。
• 前向きECE解を逆アルゴリズムに統合し、勾配ベース最適化を用いて方策計算とコスト関数更新を交互に実行する。

実験結果

リサーチクエスチョン

• RQ1 複数エージェント動的ゲームにおいて、人間の意思決定における制限付き合理的性とノイズをどのようにモデル化できるか。
• RQ2 最大エントロピー最適性を複数エージェント設定に拡張する、整合的なゲーム理論的均衡概念とは何か。
• RQ3 線形二次ガウス（LQG）複数エージェントシステムにおいて、閉形式のECEフィードバック方策を導出できるか。
• RQ4 ゲーム理論的整合性を保ちながら、模倣データからエージェントのコスト関数を推定する逆問題はどのように解けるか。
• RQ5 逆学習においてエージェント間の相互作用を考慮することで、標準的なIRL/IOC手法よりもコスト関数の回復精度が向上するか。

主な発見

• エントロピー・コスト均衡（ECE）は、単一エージェント設定では最大エントロピー原理と数学的に同等であり、複数エージェント動的ゲームに一般化されたものである。
• LQGゲームでは、リカッチ再帰を用いてECEフィードバック方策を閉形式で計算でき、方策の平均と分散の両方について正確な解が得られる。
• 非線形設定では、反復的アルゴリズムが二次近似の逐次解法を通じて局所最適なECE方策に収束する。
• 逆アルゴリズムは、合成データおよび実世界の交通データ（INTERACTIONデータセット）からコスト関数を成功裏に回復し、標準的なIRL手法よりもモデリング精度が優れている。
• 複数エージェントの衝突回避シナリオに適用した結果、本手法はベースラインのIRL手法よりも、観察された人間らしい行動をよりよく再現するコスト関数を学習した。
• ECEフレームワークを通じて方策エントロピーと制限付き合理的性を明示的にモデル化することで、ノイズのある模倣データに対しても本手法は頑健であることが示された。