[論文レビュー] Effective and Stable Role-Based Multi-Agent Collaboration by Structural Information Principles

Xianghua Zeng, Hao Peng+1 more|arXiv (Cornell University)|Apr 3, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、構造的情報原理に基づくロール発見手法SIRDを提案する。SIRDは、1次元およびK次元の構造的エントロピー最小化を用いて、ロール発見を階層的アクション空間クラスタリングに変換する。SR-MARLに統合されたSIRDは、挑戦的なStarCraft IIミクロマネジメントタスクにおいて、最大6.08%の勝率向上と66.30%の分散低減を達成し、手動によるハイパーパrameterチューニングなしで安定的かつ効果的かつアルゴリズムに依存しないマルチエージェント協調を可能にする。

ABSTRACT

Role-based learning is a promising approach to improving the performance of Multi-Agent Reinforcement Learning (MARL). Nevertheless, without manual assistance, current role-based methods cannot guarantee stably discovering a set of roles to effectively decompose a complex task, as they assume either a predefined role structure or practical experience for selecting hyperparameters. In this article, we propose a mathematical Structural Information principles-based Role Discovery method, namely SIRD, and then present a SIRD optimizing MARL framework, namely SR-MARL, for multi-agent collaboration. The SIRD transforms role discovery into a hierarchical action space clustering. Specifically, the SIRD consists of structuralization, sparsification, and optimization modules, where an optimal encoding tree is generated to perform abstracting to discover roles. The SIRD is agnostic to specific MARL algorithms and flexibly integrated with various value function factorization approaches. Empirical evaluations on the StarCraft II micromanagement benchmark demonstrate that, compared with state-of-the-art MARL algorithms, the SR-MARL framework improves the average test win rate by 0.17%, 6.08%, and 3.24%, and reduces the deviation by 16.67%, 30.80%, and 66.30%, under easy, hard, and super hard scenarios.

研究の動機と目的

• 手動によるハイパーパrameterチューニングや事前定義されたロールに依存する既存のロールベースのマルチエージェント強化学習（MARL）手法の不安定さと非効率性を解消すること。
• 事前のサブタスクやロール割り当ての知識を必要としない自己教師ありで自動的なロール発見メカニズムの開発。
• 大規模な共同状態-行動空間を有する部分観測環境における、協調的MARLの効果性と安定性の向上。
• 下位のMARLアルゴリズムを変更せずに、さまざまな価値関数因子分解手法とシームレスに統合できるようにすること。

提案手法

• SIRD手法は、頂点がアクションを表し、辺の重みがチームの目的指向の機能的相関を反映する重み付き無向完全グラフを構築する。
• 1次元構造的エントロピー最小化を適用してアクショングラフをスパース化し、階層的アクション関係を捉えた初期符号木を生成する。
• スパース化されたグラフ上でK次元構造的エントロピーをさらに最小化することで、階層的アクション空間クラスタリングに最適な符号木を導出する。
• 最適な符号木に対する階層的抽象化を実行することでロールを発見し、平坦クラスタリングを構造的ロール分解に変換する。
• SR-MARLフレームワークは、QMIX や QPLEX などの価値関数因子分解手法とSIRDを統合し、ミキシングネットワークをSIRDに従うロール抽象化に置き換える。
• フレームワークは特定のMARLアルゴリズムに依存せず、他の価値分解アーキテクチャにも柔軟に拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 構造的情報原理を活用することで、手動によるハイパーパrameterチューニングなしに、自動的かつ安定的かつ効果的なロール発見が可能になるか？
• RQ2 符号木を用いた階層的アクション空間クラスタリングは、平坦クラスタリングに比べてロール発見の質と学習安定性においてどのように優れているか？
• RQ3 SIRDは、さまざまなタスク難易度レベルにおいて、既存のMARLアルゴリズムのパフォーマンスとロバスト性をどの程度向上できるか？
• RQ4 価値関数因子分解手法とSIRDを統合することで、勝率と学習安定性に一貫した改善が得られるか？

主な発見

• StarCraft IIミクロマネジメントベンチマークにおいて、SR-MARLは、エイジリーマップ、ハードマップ、スーパー・ハードマップで、最先端のベースラインより平均テスト勝率をそれぞれ0.17%、6.08%、3.24%向上した。
• エイジリーマップ、ハードマップ、スーパー・ハードマップにおいて、テスト勝率の分散がそれぞれ16.67%、30.80%、66.30%低減され、訓練の安定性が著しく向上していることが示された。
• アブレーションスタディの結果、構造化とスパース化の両方が不可欠であることが確認された。構造化を削除したST-MARLやスパース化を削除したSP-MARLでは、顕著なパフォーマンス劣化が観察された。
• 最大木高が3のSR-MARL-3は、木高2のSR-MARL-2よりも、スーパー・ハードマップのMMM2で優れた性能を示し、複雑なタスクにおいてより深い階層が有益であることを示唆している。
• QMIXおよびQPLEXと統合した場合に、一貫したパフォーマンス向上が得られたことから、SIRDがさまざまな価値関数因子分解手法と互換性があり、効果的であることが示された。
• SIRD手法はMARLアルゴリズムに対して完全にアーキテクチャに依存せず、アーキテクチャの変更なしに、さまざまな価値分解アーキテクチャに柔軟に組み込める。