[論文レビュー] Computational Rationalization: The Inverse Equilibrium Problem

Kevin Waugh, Brian D. Ziebart+1 more|arXiv (Cornell University)|Mar 27, 2011

Advanced Bandit Algorithms Research参考文献 28被引用数 26

ひとこと要約

本稿では、観察された行動を合理化するためにレグRETミニマックスを用いる、マルチエージェント戦略的行動の最大エントロピー逆均衡アプローチを提案する。逆問題をICE多面体上の凸最適化として定式化し、数十から数百件の観察のみでデータ効率的かつ転移学習が可能であることを示した。

ABSTRACT

Modeling the purposeful behavior of imperfect agents from a small number of observations is a challenging task. When restricted to the single-agent decision-theoretic setting, inverse optimal control techniques assume that observed behavior is an approximately optimal solution to an unknown decision problem. These techniques learn a utility function that explains the example behavior and can then be used to accurately predict or imitate future behavior in similar observed or unobserved situations. In this work, we consider similar tasks in competitive and cooperative multi-agent domains. Here, unlike single-agent settings, a player cannot myopically maximize its reward; it must speculate on how the other agents may act to influence the game's outcome. Employing the game-theoretic notion of regret and the principle of maximum entropy, we introduce a technique for predicting and generalizing behavior.

研究の動機と目的

• 限られた観察からマルチエージェントシステムにおける戦略的行動の予測と一般化を解決すること。
• エージェントが他のエージェントの行動を推論する必要がある競争的・協力的状況において、逆最適制御を拡張すること。
• 近似的な合理性制約の下で観察された行動を合理化する効用関数を回復すること。
• 観測されていない、または変更されたゲーム環境への効果的な行動転送を可能にすること。

提案手法

• マルチエージェント設定における最適性の代わりにゲーム理論的レグRETを用いて逆均衡問題を定式化する。
• 観察された行動が学習モデルよりレグRETが大きくないことを保証する凸制約の集合として、逆相関均衡（ICE）多面体を定義する。
• ICE多面体内での最も不確実性が高くかつ合理的な行動分布を選択するために、最大エントロピーの原則を適用する。
• 対数線形最大エントロピーモデルを一般化する双対最適化問題を導出する。これにより勾配ベースの学習が可能になる。
• 特徴量とレグRETクラスの数に応じて、スケーリングが効率的に行える勾配ベースの最適化戦略を採用する。
• サンプリングによる結果分布の経験的近似を用い、サンプル複雑度に関する理論的境界を提示する。

実験結果

リサーチクエスチョン

• RQ1 レグRETに基づく合理化は、マルチエージェントゲームにおける均衡行動を逆に解明するために使用可能か？
• RQ2 最大エントロピーとレグRET最小化を組み合わせることで、頑健で一般化可能な行動モデルを構築できるか？
• RQ3 戦略的状況で正確な逆均衡予測を達成するために必要なサンプル複雑度はどの程度か？
• RQ4 学習された効用関数は、新しい観測されていないゲーム環境に効果的に一般化できるか？

主な発見

• MaxEnt ICEは16件の観察でのみ、全ゲーム結果空間の0.1%未満でほぼ最適の予測精度を達成した。
• 全テストされた転移タスクにおいて、最尤推定とロジスティック回帰モデルよりも対数損失が優れている。
• 転移実験では、'Add Highway'シナリオでロジスティックモデルの対数損失4.177からMaxEnt ICEで3.093に低下させ、優れた一般化性能を示した。
• 理論的分析により、M ≥ (2/ϵ²) log(2|Φ|K/δ) の観察数があれば、高い確率でレグRET近似誤差を束縛できることを示した。
• スワップレグRET（Φswap）ではなく内部レグRET（Φint）を用いることで、戦略的表現力の損失を最小限に抑えつつ、計算コストを顕著に削減できた。
• 双対最適化問題により、有界な効用関数のもとで収束保証がある効率的かつスケーラブルな学習が可能になった。