[論文レビュー] Multi-Agent Determinantal Q-Learning

Yaodong Yang, Ying Wen+5 more|arXiv (Cornell University)|Jun 2, 2020

Reinforcement Learning in Robotics参考文献 30被引用数 7

ひとこと要約

本稿では、協調的マルチエージェント強化学習のための価値ベース手法として、Multi-Agent Determinantal Q-Learningを提案する。この手法は、行列式点過程に基づく確率的モデルであるQ-DPPを用い、制限的な構造的仮定を課さずに連携Q関数を自然に要因分解する。Q-DPPはエージェントの多様な行動を促進することで、効果的な分散実行を可能にし、VDN、QMIX、QTRANを一般化し、ブロッカー・ゲームや予言者-獲物ワールドを含むベンチマークタスクでそれらを上回る性能を発揮する。

ABSTRACT

Centralized training with decentralized execution has become an important paradigm in multi-agent learning. Though practical, current methods rely on restrictive assumptions to decompose the centralized value function across agents for execution. In this paper, we eliminate this restriction by proposing multi-agent determinantal Q-learning. Our method is established on Q-DPP, an extension of determinantal point process (DPP) with partition-matroid constraint to multi-agent setting. Q-DPP promotes agents to acquire diverse behavioral models; this allows a natural factorization of the joint Q-functions with no need for \emph{a priori} structural constraints on the value function or special network architectures. We demonstrate that Q-DPP generalizes major solutions including VDN, QMIX, and QTRAN on decentralizable cooperative tasks. To efficiently draw samples from Q-DPP, we adopt an existing sample-by-projection sampler with theoretical approximation guarantee. The sampler also benefits exploration by coordinating agents to cover orthogonal directions in the state space during multi-agent training. We evaluate our algorithm on various cooperative benchmarks; its effectiveness has been demonstrated when compared with the state-of-the-art.

研究の動機と目的

• 価値関数分解に制限的な構造的仮定を必要とする現在の集中学習・分散実行（CTDE）手法の限界を解決すること。
• マルチエージェント価値ベースCTDE手法における原理的でない探索戦略の欠如を克服すること。
• トレーニング中にエージェント間で多様な行動モデルを促進することで、連携Q関数の自然な要因分解を可能にすること。
• VDN、QMIX、QTRANといった既存手法を統一フレームワークの特殊ケースとして一般化すること。
• 訓練と探索の両方をサポートする、効率的で理論的裏付けのあるQ-DPPサンプラーの開発

提案手法

• パーティション・マトロイド制約を備えたDPPの拡張としてのQ-DPPを提案し、エージェント間の観測-行動ペア集合をモデル化する。
• Q-DPPを集中型連携Q関数の関数近似器として用い、品質と多様性を同時に最適化する。
• DPPの数学的性質を活用して、最適解において連携Q関数を個々のエージェントQ値に自然に要因分解可能にする。
• P-DPP（Celis et al., 2018）のサンプリング・バイ・プロジェクションに基づく線形時間のサンプラーを採用し、理論的近似保証を有する。
• サンプラーを訓練に統合し、エージェントが状態空間において直交する方向に探索を調整することで、探索効率を向上させる。
• 補助損失関数を適用して仮定1（固有値比に関するもの）を強制し、報酬分散の低減により学習を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 制限的な構造的仮定を課さずに、価値ベースCTDE手法が効果的な分散実行を達成できるか。
• RQ2 エージェント行動の多様性を促進することで、連携Q関数の自然な要因分解がどのように可能になるか。
• RQ3 Q-DPPがVDN、QMIX、QTRANといった既存手法を特殊ケースとして一般化できるか。
• RQ4 提案されたサンプラーが、効果的な価値関数近似と協調的探索の両方をサポートできるか。
• RQ5 訓練過程で品質と多様性のバランスはどのように変化するか、そしてその影響は性能にどのように現れるか。

主な発見

• Q-DPPは、非単調的かつ病理的とされる協調的タスクにおいて20,000ステップでグローバル最適解に収束するが、ベースラインは収束に失敗する。
• ブロッカー・ゲームと協調ナビゲーションタスクにおいて、Q-DPPはすべてのベースラインの中で最高のパフォーマンスを達成し、部分観測下での優れた協調性を示す。
• 予言者-獲物ワールドにおいて、Q-DPPはすべてのベースラインを上回り、効果的なマルチエージェント協調により高い累積報酬を達成する。
• アブレーションスタディの結果、補助損失による仮定1の強制は訓練の分散を低減し、学習を安定化させるが、最終パフォーマンスへの向上は顕著ではない。
• 実験的結果から、Q-DPPにおける多様性項は時間経過とともに劣化することが明らかになり、期待通りに初期段階では探索が優先され、後期には報酬の活用が優位になる。
• ポリシーの可視化により、Q-DPPが互いに直交する行動モデルを学習していることが確認され、個々の最適解が連携最適解に導くメカニズムの妥当性が裏付けられた。