[論文レビュー] Towards Efficient Multi-Agent Learning Systems

Kailash Gogineni, Wei Peng+2 more|arXiv (Cornell University)|May 22, 2023

Data Stream Mining Techniques被引用数 4

ひとこと要約

本論文は、マルチエージェント強化学習（MARL）における計算負荷の高いミニバッチサンプリングフェーズを最適化する局所性に配慮したネイバー・サンプリング戦略を提案している。この手法により、キャッシュ効率が著しく向上し、12エージェントのMARLワークロードにおいて、サンプリング時間で26.66–27.39%の性能向上、エンド・ツー・エンドのトレーニング時間で10.2%の短縮が達成された。平均報酬に著しい劣化をもたらさない点から、スケーラブルなMARLトレーニングのための重要なシステムレベル最適化であることが示された。

ABSTRACT

Multi-Agent Reinforcement Learning (MARL) is an increasingly important research field that can model and control multiple large-scale autonomous systems. Despite its achievements, existing multi-agent learning methods typically involve expensive computations in terms of training time and power arising from large observation-action space and a huge number of training steps. Therefore, a key challenge is understanding and characterizing the computationally intensive functions in several popular classes of MARL algorithms during their training phases. Our preliminary experiments reveal new insights into the key modules of MARL algorithms that limit the adoption of MARL in real-world systems. We explore neighbor sampling strategy to improve cache locality and observe performance improvement ranging from 26.66% (3 agents) to 27.39% (12 agents) during the computationally intensive mini-batch sampling phase. Additionally, we demonstrate that improving the locality leads to an end-to-end training time reduction of 10.2% (for 12 agents) compared to existing multi-agent algorithms without significant degradation in the mean reward.

研究の動機と目的

• マルチエージェント強化学習（MARL）トレーニングにおけるパフォーマンスボトル neck をシステム的視点から同定・分析すること。
• 特にミニバッチサンプリングおよび更新フェーズにおける主要な計算負荷の性質を理解すること。
• サンプリングフェーズにおけるメモリ局所性の最適化を通じて、MARLにおけるデータアクセス効率を向上させること。
• 学習パフォーマンスを損なわせることなく、エンド・ツー・エンドのトレーニング時間を短縮すること。
• エージェント数の増加に伴うスケーラビリティの課題を解決することで、MARLの広範な実世界への展開を可能にすること。

提案手法

• 経験リプレイバッファ内の遷移を再順序付けすることで、空間的および時間的局所性を向上させるネイバー・サンプリング戦略を提案。
• ミニバッチサンプリング時に、隣接エージェントからの遷移をまとめてグループ化する局所性に配慮したインデクシングを適用。
• 最小限のアーキテクチャ変更で、既存のMARLフレームワーク（MADDPGおよびMASAC）に最適化されたサンプリングループを統合。
• GPUアーキテクチャ（例：A100、RTX 3090）におけるMARLトレーニングワークロードの計算ボトル neck を特定・特徴化するために、ハードウェアパフォーマンスカウンタを用いる。
• 集中型のクリティックを採用し、共同観測・行動空間を採用する一方で、アクション選択には分散型のエージェントを維持。
• 予報者-捕食者環境において、3～48エージェントの範囲で最適化の有効性を検証し、パフォーマンスと学習安定性の両方を測定。

実験結果

リサーチクエスチョン

• RQ1 計算およびメモリアクセスの観点から、MARLトレーニングフェーズの中で主なパフォーマンスボトル neck となるのはどのフェーズか？
• RQ2 ミニバッチサンプリングにおけるデータアクセスパターンが、MARLにおけるキャッシュ効率およびトレーニングパフォーマンスに与える影響は何か？
• RQ3 局所性に配慮したネイバー・サンプリングは、学習品質の劣化を伴わずにトレーニング時間を短縮できるか？
• RQ4 MARLシステムにおけるエージェント数の増加に伴い、性能向上はどのようにスケーリングするか？
• RQ5 ネイバー・サンプリングの影響は、エンド・ツー・エンドのトレーニング時間およびモデル収束性にどのような影響を及えるか？

主な発見

• '全トレーナーの更新'フェーズがトレーニング時間の35%～85%を占め、エージェント数が3から48に増加するに従って支配的になる。
• ミニバッチサンプリングフェーズは、特に大きな観測・行動空間を有する場合、悪いキャッシュ局所性により顕著なパフォーマンス劣化を示す。
• ネイバー・サンプリングによりキャッシュ局所性が向上し、サンプリングフェーズの実行時間が3エージェントで26.66%、12エージェントで27.39%短縮された。
• 提案手法を用いることで、12エージェントのMARLワークロードにおいてエンド・ツー・エンドのトレーニング時間が10.2%短縮された。
• 最適化により高い学習パフォーマンスが維持され、全テストエージェント数において平均エピソード報酬に顕著な劣化は認められなかった。
• MADDPGおよびMASACの両フレームワークにおいて性能向上が一貫して得られたことから、異なるMARLアルゴリズムに対しても汎用性があることが示された。