[論文レビュー] Rethinking Individual Global Max in Cooperative Multi-Agent Reinforcement Learning

Yitian Hong, Yaochu Jin+1 more|arXiv (Cornell University)|Sep 20, 2022

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

本稿では、協調的マルチエージェント強化学習におけるIndividual Global Max (IGM)分解が本質的に情報損失を伴うことを特定し、ハイパーネットワークベースの価値分解手法における誤差蓄積を引き起こしていることを明らかにした。これを解決するために、著者らはDAggerに基づく模倣学習を統合し、損失を伴う分解をベルマン更新から分離する新たな訓練フレームワークIGM-DAを提案した。この手法により、特にゼロシートビュー状況下でのSMACベンチマークにおける性能が顕著に向上した。

ABSTRACT

In cooperative multi-agent reinforcement learning, centralized training and decentralized execution (CTDE) has achieved remarkable success. Individual Global Max (IGM) decomposition, which is an important element of CTDE, measures the consistency between local and joint policies. The majority of IGM-based research focuses on how to establish this consistent relationship, but little attention has been paid to examining IGM's potential flaws. In this work, we reveal that the IGM condition is a lossy decomposition, and the error of lossy decomposition will accumulated in hypernetwork-based methods. To address the above issue, we propose to adopt an imitation learning strategy to separate the lossy decomposition from Bellman iterations, thereby avoiding error accumulation. The proposed strategy is theoretically proved and empirically verified on the StarCraft Multi-Agent Challenge benchmark problem with zero sight view. The results also confirm that the proposed method outperforms state-of-the-art IGM-based approaches.

研究の動機と目的

• 協調的マルチエージェント強化学習におけるIndividual Global Max (IGM)分解の根本的制限を調査すること。
• IGMベースの価値分解が損失を伴い、その損失がハイパーネットワークベースの手法における学習過程で誤差蓄積を引き起こし、性能を低下させることを特定すること。
• 損失を伴う分解をベルマンバックアップから分離することで誤差蓄積を防ぐ訓練フレームワークを開発すること。
• 部分的観測下における複数の最先端IGMベースのアルゴリズムにおいて、提案手法の有効性を実験的に検証すること。
• ゼロ視界ビューのような極端な低認識環境において、耐性と性能向上を示すことを実証すること。

提案手法

• 中央集権的グローバル観測MARLエージェントをエキスパートポリシーとして学習する2段階の訓練フレームワークIGM-DAを提案する。
• DAgger（データセットアグリゲーション）模倣学習を用い、エキスパートのグローバルポリシーをローカル観測ポリシーに蒸留することで、損失を伴う分解による誤差伝搬を回避する。
• 模倣学習を用いてグローバル観測からローカル観測へのポリシー写像を学習することで、価値分解プロセスをベルマンバックアップから分離する。
• 既存のIGMベースのアルゴリズム（QMIX、QPLEX、DMIX）にDAggerベースのポリシー蒸留を統合し、部分的観測下での耐性を向上させる。
• 損失を伴う分解を時系列差分学習プロセスから分離することで、誤差蓄積が回避されることを理論的に証明する。
• エキスパートポリシーは中央集権的強化学習で訓練され、学生ポリシーはエキスパートのデモンストレーションを用いた模倣学習により精練されるハイブリッド訓練プロセスを採用する。

実験結果

リサーチクエスチョン

• RQ1 価値分解手法におけるIndividual Global Max (IGM)分解は等価であるか、それとも本質的に損失を伴うのか？
• RQ2 ハイパーネットワークベースのMARLアルゴリズムにおいて、損失を伴うIGM分解由来の誤差は学習過程で蓄積されるのか？
• RQ3 DAggerのような模倣学習技術は、損失を伴うIGM分解に起因する誤差蓄積を効果的に緩和できるのか？
• RQ4 提案されたIGM-DAフレームワークは、視界制限のある協調的MARLベンチマーク（例：ゼロシートビューを有するSMAC）でどのように性能を向上させるのか？
• RQ5 IGM-DAの性能向上は、環境の部分的観測の度合いにどの程度依存するのか？

主な発見

• IGM分解は本質的に損失を伴い、その損失がハイパーネットワークベースの価値分解手法における学習過程で誤差蓄積を引き起こすことが判明した。
• 提案されたIGM-DAフレームワークはSMACベンチマークにおいて顕著な性能向上を達成した。特にゼロシートビュー下でQMIX-DAは3s5zで93.3%の勝率を達成（標準QMIXの90.2%対比）。
• QPLEX-DAは全環境平均で63.1%のスコアを達成（QPLEXの41.0%対比）し、MMM2のような難易度の高いタスクで顕著な向上が見られた。
• DMIX-DAは平均67.0%のスコアを達成（DMIXの50.4%対比）し、多様なIGMベースアーキテクチャにわたる本手法の有効性を確認した。
• アブレーションスタディでは、DAggerが行動クラッシング（BC）を大きく上回り、特にMMM2のような複雑な環境ではDAggerが55.4%の勝率を達成（BCは46.2%）した。
• IGM-DAの性能向上は、極端な低認識環境（例：ゼロシートビュー）で顕著であり、視界範囲が拡大するに従い効果が薄れる傾向にあった。