[論文レビュー] PTDE: Personalized Training with Distilled Execution for Multi-Agent Reinforcement Learning

Yiqun Chen, Hangyu Mao+6 more|arXiv (Cornell University)|Oct 17, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、訓練中に各エージェントごとに特化したグローバル情報モジュールを用いてグローバル情報をエージェント固有にパーソナライズする、新しい2段階のマルチエージェント強化学習（MARL）フレームワーク、PTDEを提案する。その後、このエージェント固有の知識を局所情報のみを用いたポリシーに知識蒸留することで、分散実行を可能にする。PTDEは、SMACおよびGoogle Research Footballベンチマークにおいて、性能の低下を伴わずにマルチエージェント協調を顕著に向上させる。

ABSTRACT

Centralized Training with Decentralized Execution (CTDE) has emerged as a widely adopted paradigm in multi-agent reinforcement learning, emphasizing the utilization of global information for learning an enhanced joint $Q$-function or centralized critic. In contrast, our investigation delves into harnessing global information to directly enhance individual $Q$-functions or individual actors. Notably, we discover that applying identical global information universally across all agents proves insufficient for optimal performance. Consequently, we advocate for the customization of global information tailored to each agent, creating agent-personalized global information to bolster overall performance. Furthermore, we introduce a novel paradigm named Personalized Training with Distilled Execution (PTDE), wherein agent-personalized global information is distilled into the agent's local information. This distilled information is then utilized during decentralized execution, resulting in minimal performance degradation. PTDE can be seamlessly integrated with state-of-the-art algorithms, leading to notable performance enhancements across diverse benchmarks, including the SMAC benchmark, Google Research Football (GRF) benchmark, and Learning to Rank (LTR) task.

研究の動機と目的

• マルチエージェント強化学習における集中型訓練分散型実行（CTDE）の限界を解消すること。具体的には、一様なグローバル情報ではエージェント固有のニーズを十分に捉えられない点に焦点を当てる。
• 単純なグローバル情報共有が引き起こす性能劣化を克服するため、個々のエージェントに特化したグローバル情報を導入すること。
• 知識蒸留を用いてエージェント固有のグローバル知識を局所観測のみに統合することで、グローバル情報の利用を一切行わない分散実行を可能にし、性能を損なわないようにすること。
• 価値分解型およびアクタクリティック型のアルゴリズムを含む、多様なMARLアルゴリズムと環境において、提案手法の普遍性を実証すること。
• 推論時にグローバル情報を必要としない、一般化可能なフレームワークを提供し、部分観測可能な複雑なマルチエージェント環境における協調性を向上させること。

提案手法

• 2段階の訓練プロセスを導入する：まず、エージェント固有のグローバル情報を用いて教師ネットワークを訓練する。この段階でグローバル情報特化（GIS）モジュールを活用する。
• GISモジュールを設計する際、エージェントハイパーネットワークを用い、エージェント特化ネットワークの重みを動的に生成する。このエージェント特化ネットワークは、元のグローバル状態をエージェント固有のグローバル表現に変換する。
• 知識蒸留を用いて、教師ネットワーク（グローバル情報＋局所情報入力）が学習したエージェント固有のグローバル知識を、学生ネットワーク（局所情報のみ入力）に転送する。
• 推論段階では教師ネットワークを学生ネットワークに置き換え、局所観測のみを用いた完全な分散実行を実現する。
• 学生ネットワークが教師の行動を最小限のQ値または行動確率の差異で再現できるように学習を促進する。
• PTDEフレームワークを価値分解型（例：VDN）およびアクタクリティック型（例：MAPPO）の両方のアルゴリズムに適用し、広範な互換性を示す。

実験結果

リサーチクエスチョン

• RQ1 訓練時に統一されたグローバル情報を使用する場合、エージェント固有のグローバル情報と比較してマルチエージェント協調性能が劣化するか？
• RQ2 エージェント固有のグローバル情報は、複雑な環境下でマルチエージェント強化学習アルゴリズムの性能を顕著に向上させられるか？
• RQ3 エージェント固有のグローバル知識を局所のみのポリシーに蒸留する際、知識蒸留が性能をどの程度保持できるか？
• RQ4 PTDEフレームワークは、価値分解型およびアクタクリティック型アルゴリズムといった異なるMARLアルゴリズムに普遍的に適用可能か？
• RQ5 PTDEフレームワークは、StarCraft IIやGoogle Research Footballといった多様な環境においても、強力な性能を維持できるか？

主な発見

• エージェント固有のグローバル情報（SGI）を用いることで、一様なグローバル情報（UGI）よりも一貫して性能が向上し、GRFのacademy_3_vs_2_with_keeperでQMIX_SGIが110.2%のパフォーマンス比を達成した。
• QMIX_SGIは、GRFの全シナリオで最高の勝率を記録し、エージェント固有のグローバル情報が一様なグローバル情報よりも協調性をより効果的に向上させることを確認した。
• 知識蒸留により性能が顕著に保持された。academy_3_vs_1_with_keeperおよびacademy_run_pass_and_shoot_with_keeperでは、PRR（パフォーマンス比）が95%～100%の範囲に収まり、蒸留後の劣化が最小限に抑えられていることを示した。
• SMACでは、VDN_SGIがVDN_UGIを上回り、MAPPO_SGIがMAPPO_UGIを上回る結果が、ハードおよびスーパー・ハードなシナリオで得られ、PTDEの有効性が異なるアルゴリズムファミリーにわたって裏付けられた。
• PTDEフレームワークは普遍的である：価値分解型（VDN）およびアクタクリティック型（MAPPO）の両方のアルゴリズムを強化でき、SMACおよびGRFを含む多様な環境で優れた性能を発揮した。
• 観測状態の再現性の高さとスパarsな報酬構造のおかげで、学生ネットワークは局所観測からエージェント固有のグローバル情報を効果的に回復でき、堅牢な蒸留が可能になった。