[論文レビュー] Learning Nearly Decomposable Value Functions Via Communication Minimization

Tonghan Wang, Jianhao Wang+2 more|arXiv (Cornell University)|Oct 11, 2019

Reinforcement Learning in Robotics参考文献 31被引用数 44

ひとこと要約

NDQ は通信を最小化しつつほぼ分解可能な Q 関数を学習し、エージェントが大部分独立して行動できる一方、選択的にコンパクトなメッセージを交換し、StarCraft II のタスクで性能を損なうことなく通信を80%超削減する。

ABSTRACT

Reinforcement learning encounters major challenges in multi-agent settings, such as scalability and non-stationarity. Recently, value function factorization learning emerges as a promising way to address these challenges in collaborative multi-agent systems. However, existing methods have been focusing on learning fully decentralized value functions, which are not efficient for tasks requiring communication. To address this limitation, this paper presents a novel framework for learning nearly decomposable Q-functions (NDQ) via communication minimization, with which agents act on their own most of the time but occasionally send messages to other agents in order for effective coordination. This framework hybridizes value function factorization learning and communication learning by introducing two information-theoretic regularizers. These regularizers are maximizing mutual information between agents' action selection and communication messages while minimizing the entropy of messages between agents. We show how to optimize these regularizers in a way that is easily integrated with existing value function factorization methods such as QMIX. Finally, we demonstrate that, on the StarCraft unit micromanagement benchmark, our framework significantly outperforms baseline methods and allows us to cut off more than $80\\%$ of communication without sacrificing the performance. The videos of our experiments are available at https://sites.google.com/view/ndq.

研究の動機と目的

• マルチエージェントRLにおける集中訓練と分散実行の不調整（ミスコーディネーション）とスケーラビリティの課題に対処する。
• 必要に応じて協調を行うための学習可能な通信を備えたほぼ分解可能な Q 関数（NDQ）を導入する。
• 情報理論的正則化項を開発し、メッセージエントロピーを最小化しつつ表現力のある通信を最大化する。
• 既存の値の因子化手法（例：QMIX）と NDQ を、スケーラブルな訓練フレームワークで統合する。

提案手法

• 局所履歴と他のエージェントからの選択的なメッセージに条件づけられた分散型 Q 関数を学習する。
• エンコーダによってパラメータ化された分布からメッセージを取り出す確率的なメッセージ埋め込みスペースを用い、変分最適化を可能にする。
• 他のエージェントの行動とメッセージ間の相互情報量を最大化し、通信の表現力を確保する。
• KL発散に基づく境界によって、メッセージのエントロピー（または変動性）を最小化し、簡潔な通信を保証する。
• 扱いやすい変分下界を導出し、TD損失と統合して全成分をエンドツーエンドで訓練する。
• 潜在メッセージ平均を閾値処理して無意味な通信を実行時に削除し、ビットレベルでメッセージを打ち切れるようにする。

実験結果

リサーチクエスチョン

• RQ1 最小限の通信でほぼ分解可能な Q 関数は、完全に分散した因子分解よりも協調を改善できるか？
• RQ2 情報理論的正則化項をどう設計すれば、いつ通信し何を送るべきかを学べるか？
• RQ3 メッセージの一部が削除された場合、通信正則化が性能と頑健性に与える影響は？
• RQ4 StarCraft II のユニットミクロマネジメントのような挑戦的な MARL ベンチマークで、NDQ は QMIX および TarMAC とどう比較されるか？

主な発見

• NDQ は標準条件下で StarCraft II のユニットミクロマネジメントにおいて基準となる因子分解手法を大幅に上回る。
• NDQ は StarCraft II のシナリオで、性能を落とすことなく通信を80%超削減できる。
• エージェントは最小限のメッセージで協調を学習し、時には効果的な協調を達成するために1ビットまたは2ビットを使用する。
• NDQ は QMIX+TarMAC のような注意機構を用いた通信ベースラインを上回り、簡潔で表現力のあるメッセージ埋め込みを学習する。
• 80% のメッセージが削除されても、NDQ は競争力のある性能を維持し、通信削減に対する頑健性を示す。