[論文レビュー] PMIC: Improving Multi-Agent Reinforcement Learning with Progressive Mutual Information Collaboration

Pengyi Li, Haoyu Tang+9 more|arXiv (Cornell University)|Mar 16, 2022

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本稿では、高品質な協調行動を促進すると同時に、劣悪な協調行動を回避するため、グローバル状態と連携行動の間の相互情報量（MI）を段階的に最大化する新しいマルチエージェント強化学習フレームワークPMICを提案する。PMICは、二重段階的協調バッファ（Du-PCB）と二重相互情報量推定器（Du-MIE）を用いることで、学習を加速し、多様なマルチエージェント強化学習（MARL）ベンチマークでベースラインを上回る高いサンプル効率と性能を達成する。

ABSTRACT

Learning to collaborate is critical in Multi-Agent Reinforcement Learning (MARL). Previous works promote collaboration by maximizing the correlation of agents' behaviors, which is typically characterized by Mutual Information (MI) in different forms. However, we reveal sub-optimal collaborative behaviors also emerge with strong correlations, and simply maximizing the MI can, surprisingly, hinder the learning towards better collaboration. To address this issue, we propose a novel MARL framework, called Progressive Mutual Information Collaboration (PMIC), for more effective MI-driven collaboration. PMIC uses a new collaboration criterion measured by the MI between global states and joint actions. Based on this criterion, the key idea of PMIC is maximizing the MI associated with superior collaborative behaviors and minimizing the MI associated with inferior ones. The two MI objectives play complementary roles by facilitating better collaborations while avoiding falling into sub-optimal ones. Experiments on a wide range of MARL benchmarks show the superior performance of PMIC compared with other algorithms.

研究の動機と目的

• 既存のMIベースのMARL手法が、高品質と低品質の協調行動を区別せずに相関を最大化するという限界を是正すること。
• グローバル状態と連携行動の間の相互情報量に基づく新たな協調基準を提案し、効果的な協調のためのより良い指針を提供すること。
• 二重MI推定を用いて、優れた協調行動を促進すると同時に劣悪な協調行動を回避する段階的学習メカニズムを設計すること。
• MADDPG、MASAC、RODEなどの既存のCTDEベースのMARLアルゴリズムと互換性を持つ汎用的なフレームワークを構築すること。

提案手法

• グローバル状態と連携行動の間の相互情報量（MI）を測定する新たな協調基準を導入し、追加のグローバル入力への依存を排除すること。
• 優れた協調軌道と劣悪な協調軌道のための別々のポジティブおよびネガティブバッファを保持する二重段階的協調バッファ（Du-PCB）を設計すること。
• ネガティブバッファでMIを最小化する（上限）とポジティブバッファでMIを最大化する（下限）という二つのニューラルMI推定器を備えた二重相互情報量推定器（Du-MIE）を実装すること。
• CLUBとMINEを用いてMI推定器を訓練し、MIの下限と上限を提供することで、協調品質の段階的精錬を可能にすること。
• 標準的な強化学習の目的関数と組み合わせて、Du-PCBとDu-MIEのコンponentsを追加することで、PMICを既存のMARLアルゴリズムに統合すること。
• MI最大化と最小化の影響を調整するハイパーパrameter α と β を用い、学習ダイナミクスの適応的制御を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 エージェントの行動同士の相互情報量を最大化するだけでは、劣悪な協調行動が生じる可能性があり、学習を妨げるのでは？
• RQ2 MI推定を用いて高品質と低品質の協調行動を区別することで、MARLにおける学習効率と性能が向上するか？
• RQ3 優れた行動ではMIを最大化し、悪質な行動ではMIを最小化する段階的MI推定フレームワークは、収束速度の向上とより優れた最終的性能をもたらすか？
• RQ4 MADDPG や MASAC などの既存のMARLアルゴリズムと組み合わせた場合、PMICは多様な環境でどの程度効果的か？

主な発見

• PMICは、離散的および連続的行動空間を有する多様な協調環境において、ベースラインのMARLアルゴリズムと比較して学習を著しく加速し、優れた性能を達成する。
• Wildlife Rescueにおける実験では、劣悪な行動に対するMIを最小化することで、局所最適解からの脱出が可能となり、200万タイムステップ経過後に高い累積報酬が得られた。
• アブレーションスタディの結果、二重段階的協調バッファ（Du-PCB）が不可欠であることが確認された。標準のリプレイバッファに置き換えると、行動の区別が欠落し、性能が低下する。
• パrameter分析から、α と β の両方が性能に顕著な影響を持つことが示され、最適な値は環境の協調構造に依存する（例：複数の劣悪な協調タイプを有する環境ではβを高く設定する）。
• グローバル状態と連携行動の間のMI測定が、他のMI指標よりも効果的な協調誘導に優れていることが確認された。
• PMICは汎用性に優れ、MADDPG、MASAC、RODEを含む複数のMARLアルゴリズムで性能向上を示し、その互換性と有効性を実証した。