[論文レビュー] QTRAN++: Improved Value Transformation for Cooperative Multi-Agent Reinforcement Learning

Kyunghwan Son, Sungsoo Ahn+3 more|arXiv (Cornell University)|Jun 22, 2020

Reinforcement Learning in Robotics参考文献 27被引用数 17

ひとこと要約

本稿では、訓練の安定化、価値推定器間のきめのない役割分担の排除、およびマルチヘッドミキシングネットワークの導入によりQTRANを改善した値ベースのマルチエージェント強化学習アルゴリズム、QTRAN++を提案する。QTRAN++は、スターフィックス・マルチエージェントチャレンジ（SMAC）環境において、QMIXを含む先行手法を上回る最先端の性能を達成した。

ABSTRACT

QTRAN is a multi-agent reinforcement learning (MARL) algorithm capable of learning the largest class of joint-action value functions up to date. However, despite its strong theoretical guarantee, it has shown poor empirical performance in complex environments, such as Starcraft Multi-Agent Challenge (SMAC). In this paper, we identify the performance bottleneck of QTRAN and propose a substantially improved version, coined QTRAN++. Our gains come from (i) stabilizing the training objective of QTRAN, (ii) removing the strict role separation between the action-value estimators of QTRAN, and (iii) introducing a multi-head mixing network for value transformation. Through extensive evaluation, we confirm that our diagnosis is correct, and QTRAN++ successfully bridges the gap between empirical performance and theoretical guarantee. In particular, QTRAN++ newly achieves state-of-the-art performance in the SMAC environment. The code will be released.

研究の動機と目的

• QTRANの強い理論的保証と、SMACのような複雑な環境におけるその弱い実験的性能のギャップを解消すること。
• 損失関数の修正と動的真の価値推定を用いて、QTRANの訓練目的を安定化すること。
• 真の価値推定器と変換された行動価値推定器の間の厳密な役割分担を排除することで、表現力と訓練の安定性を向上させること。
• マルチヘッドミキシングネットワークを用いて、非分散可能なタスクにおける偏りのない責任割り当てを可能にすること。
• 負の報酬機構を備えた多様なシナリオを含め、SMACにおいて最先端の性能を達成すること。

提案手法

• 最適化中に真の行動価値推定器を固定しないことで、追加の不等式制約を導入し、訓練を安定化させる。
• QTRANにおけるきめのない役割分担を排除し、真の価値推定器と変換された行動価値推定器間での共有表現学習を可能にする。
• より柔軟で表現力の高い連携行動価値推定を可能にするマルチヘッドミキシングネットワークを導入する。
• 最適化の安定性と収束性を向上させるために、QTRANの元来の定式化とは異なる損失関数を修正する。
• 理論的分散可能性を保ちながら表現能力を高める半単調なミキシングネットワーク構造を採用する。
• 報酬信号を密にし、挑戦的なシナリオにおける協調行動を促進するために、新規の負の報酬メカニズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 QTRANは価値分解における強い理論的基盤を持つにもかかわらず、なぜ実験的に性能が低いのか？
• RQ2 損失関数の修正と動的価値推定により、QTRANの訓練不安定性と一般化性能の低さを緩和できるか？
• RQ3 真の価値推定器と変換された価値推定器の間のきめのない役割分担を排除することで、性能と安定性が向上するか？
• RQ4 マルチヘッドミキシングネットワークは、非分散可能な協調的タスクにおけるより良い責任割り当てと性能を実現できるか？
• RQ5 QTRAN++は、特に負の報酬設定下で、QMIXなどの既存の最先端手法を上回る性能を示せるか？

主な発見

• QTRAN++はSMACの全10シナリオで最先端の性能を達成し、QMIXやQTRANを含むすべてのベースラインを一貫して上回った。
• 負の報酬シナリオでは、QTRAN++はエージェントが敵と戦うように訓練され、QMIXが直面するローカル最適解を回避した。
• アブレーションスタディにより、マルチヘッドミキシング、修正された損失関数、固定されていない真の推定器、共有された役割が、性能向上に顕著な寄与をしていることが確認された。
• QTRAN++は理論的な表現力と実験的性能のギャップを埋め、QTRANの理論的利点が実際に実現可能であることを示した。
• 修正された環境による負の報酬は、報酬信号を密にし、学習を加速させ、最終的な勝率を向上させた。
• 3s_vs_5z や 5m_vs_6m といった挑戦的なシナリオでは、QTRAN++は2番目に良いベースラインよりも顕著に高い中央値勝率を達成し、大きな性能差を示した。