[論文レビュー] A Regularized Opponent Model with Maximum Entropy Objective

Tian Zheng, Ying Wen+4 more|arXiv (Cornell University)|May 17, 2019

Reinforcement Learning in Robotics参考文献 24被引用数 6

ひとこと要約

本稿では、最尤性の最大化を目的関数とする確率的推論としてマルチエージェント強化学習（MARL）を定式化する正則化された相手モデル枠組みROMMEOを提案する。最適性尤度に対する変分下界を導出することで、理論的裏付けのある相手モデル化を可能にし、正確（ROMMEO-Q）および近似（ROMMEO-AC）の両アルゴリズムにより、反復行列ゲームや微分ゲームといった協調的ゲームにおいて、強力なMARLベースラインを上回る優れた性能を示す。

ABSTRACT

In a single-agent setting, reinforcement learning (RL) tasks can be cast into an inference problem by introducing a binary random variable o, which stands for the "optimality". In this paper, we redefine the binary random variable o in multi-agent setting and formalize multi-agent reinforcement learning (MARL) as probabilistic inference. We derive a variational lower bound of the likelihood of achieving the optimality and name it as Regularized Opponent Model with Maximum Entropy Objective (ROMMEO). From ROMMEO, we present a novel perspective on opponent modeling and show how it can improve the performance of training agents theoretically and empirically in cooperative games. To optimize ROMMEO, we first introduce a tabular Q-iteration method ROMMEO-Q with proof of convergence. We extend the exact algorithm to complex environments by proposing an approximate version, ROMMEO-AC. We evaluate these two algorithms on the challenging iterated matrix game and differential game respectively and show that they can outperform strong MARL baselines.

研究の動機と目的

• 最適性指標を確率的変数として再定義することで、マルチエージェント強化学習を確率的推論問題として形式化すること。
• 動的かつ戦略的な相手に適応する必要がある協調的マルチエージェント設定における相手モデル化の課題に対処すること。
• 正則化と最大エントロピー原理を統合した理論的裏付けのあるフレームワークを構築し、MARLにおける一般化性能と安定性を向上させること。
• 複雑な環境における目的関数の最適化のための正確および近似の両アルゴリズムを設計すること。
• 反復行列ゲームや微分ゲームといった挑戦的な協調的ゲーム環境において、既存のMARLベースラインを上回ることを実証的に検証すること。

提案手法

• マルチエージェント設定における最適性を表す二値確率的変数 o を導入することで、MARLを確率的推論問題として再定式化する。
• 最適性尤度に対する変分下界を導出し、正則化とエントロピー最大化を組み合わせた「正則化された最大エントロピー目的関数付き相手モデル（ROMMEO）」と名付けた。
• 小規模な環境における正確な最適化を目的とした、表形式のQ反復アルゴリズム「ROMMEO-Q」を提案し、収束の証明を提供する。
• 関数近似を用いることで、複雑な環境への拡張を図り、ROMMEO-ACという近似のアクタクリティックアルゴリズムに拡張する。
• エントロピー最大化による方策性能と不確実性のバランスを最適化するため、変分推論技術を用いて目的関数を最適化する。
• ROMMEO目的関数を通じて相手の戦略分布を推論することで、相手モデル化を方策更新プロセスに統合する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント強化学習をどのように体系的かつ確率的推論問題として形式化できるか？
• RQ2 正則化と最大エントロピー目的関数を組み込むことで、協調的MARLにおける相手モデル化と方策学習にどのような影響を与えるか？
• RQ3 最適性尤度に対する変分下界は、協調的ゲームにおける安定的かつサンプル効率の良い学習を実現できるか？
• RQ4 反復行列ゲームや微分ゲームなど、異なるゲームタイプにおいて、正確な（ROMMEO-Q）と近似の（ROMMEO-AC）アルゴリズムの性能と収束特性はどのように比較されるか？
• RQ5 反復行列ゲームや微分ゲームといった挑戦的な協調的環境において、ROMMEOは既存のMARLベースラインをどの程度上回るか？

主な発見

• ROMMEO-Qは表形式の設定において安定した方策に収束し、本稿で理論的収束証明が提供されている。
• ROMMEO-ACは微分ゲームのような複雑な環境でも優れた性能を示し、関数近似によりスケーラビリティを実現している。
• 反復行列ゲームおよび微分ゲームの両環境において、提案フレームワークは強力なMARLベースラインを上回っており、サンプル効率と最終的な性能の両面で優れている。
• ROMMEOにおける最大エントロピーと正則化の統合により、標準的な相手モデル化手法と比較して、より強固で一般化可能な方策が得られている。
• 実験結果から、ROMMEOで導出された変分下界が、方策性能と不確実性のトレードオフを効果的に捉えていることが確認された。
• 本フレームワークは、特に長時間にわたる協調的タスクにおいて、マルチエージェント設定における協力を強化する有効な相手モデル化を可能にした。