[論文レビュー] Parallel Knowledge Transfer in Multi-Agent Reinforcement Learning

Yongyuan Liang, Bangwei Li|arXiv (Cornell University)|Mar 29, 2020

Reinforcement Learning in Robotics参考文献 31被引用数 7

ひとこと要約

本稿では、マルチエージェント強化学習における新手の知識移行フレームワークであるPAT（Parallel Attentional Transfer）を提案する。PATは、共有の注目メカニズムを用いて、エージェントが仲間から動的に行動知識を選択・適用できる。学生モードと自己学習モードを交互に切り替えることで、特に大規模で複雑なマルチタスク環境において、チーム全体の学習効率と性能が向上し、従来手法に比べてスケーラビリティと移行性に優れる。

ABSTRACT

Multi-agent reinforcement learning is a standard framework for modeling multi-agent interactions applied in real-world scenarios. Inspired by experience sharing in human groups, learning knowledge parallel reusing between agents can potentially promote team learning performance, especially in multi-task environments. When all agents interact with the environment and learn simultaneously, how each independent agent selectively learns from other agents' behavior knowledge is a problem that we need to solve. This paper proposes a novel knowledge transfer framework in MARL, PAT (Parallel Attentional Transfer). We design two acting modes in PAT, student mode and self-learning mode. Each agent in our approach trains a decentralized student actor-critic to determine its acting mode at each time step. When agents are unfamiliar with the environment, the shared attention mechanism in student mode effectively selects learning knowledge from other agents to decide agents' actions. PAT outperforms state-of-the-art empirical evaluation results against the prior advising approaches. Our approach not only significantly improves team learning rate and global performance, but also is flexible and transferable to be applied in various multi-agent systems.

研究の動機と目的

• 分散型でリアルタイムに学習が行われる状況下において、協調的マルチエージェント強化学習（MARL）におけるエージェント間の効率的かつ信頼性の高い知識移行の課題に対処すること。
• 通信コストを低減し、劣悪な品質や矛盾する助言の影響を回避すること。
• 経験豊富な仲間からの選択的学習を可能にする動的注目メカニズムを導入することで、チーム全体の学習安定性とパフォーマンスを向上させること。
• チームの規模やタスク構成の変化に対しても、MARLポリシーのスケーラビリティと移行性を向上させること。
• 中央集権的なクライアントに依存せず、エージェントごとに動的に教員・学習者という役割を切り替えられる分散型で柔軟なフレームワークを構築すること。

提案手法

• エージェントは2つの行動モード（学生モード：他者から学ぶ、自己学習モード：独立して学ぶ）をとる。モード選択は分散型の学生アクターキャッチャーネットワークによって行われる。
• 共有の注目メカニズムが、環境へのなじみ具合とポリシーの有効性に基づき、他のエージェントから最も関連性の高い行動知識を動的に特定・選択する。
• 注目メカニズムは教員選択器として機能し、複数の仲間から高信頼度の助言をフィルタリングして、学生エージェントの行動をガイドする。
• フレームワークは完全に分散型であり、中央集権的なクライアントを排除しており、エージェントが同時に教員と学習者としての役割を柔軟に切り替えられる。
• 知識移行はポリシー蒸留を通じて実装され、学生エージェントは選択された教員エージェントの高パフォーマンス行動を模倣する。
• アーキテクチャは転移学習に最適化されており、小さなチームで事前学習した注目メカニズムを大きなチームに再利用することで、学習コストを削減できる。

実験結果

リサーチクエスチョン

• RQ1 分散型マルチエージェントシステムにおけるエージェントは、どのようにして仲間から有用な行動知識を効果的かつ安全に選択し、学習を加速できるか？
• RQ2 中央集権的トレーニングや固定されたエキスパート役に依存せずに、動的で選択的な知識移行を実現するメカニズムは何か？
• RQ3 注目ベースの知識選択メカニズムは、単純なまたはフィルタリングなしの助言共有に比べて、学習安定性とパフォーマンスをどのように向上させるか？
• RQ4 知識移行フレームワークは、どれほど大規模なチームや異なるタスク構成にスケーリング可能で、一般化可能か？
• RQ5 小さなチームで事前学習した注目メカニズムを、大きなチームに効果的に移行できるか？性能を維持しながら学習コストを削減できるか？

主な発見

• PATは、特に8〜12エージェントの複雑なマルチタスク環境において、最先端の助言手法に比べて平均チーム報酬の面で顕著に優れている。
• 12エージェント環境では、PATは高いパフォーマンスとスケーラビリティを維持するが、AdHocTDやLeCTRは複雑性の増加と中央集権的助言のボトルネックにより性能が低下する。
• 4エージェントの注目メカニズムを8エージェント環境に移行した際、PATは元の学習パフォーマンスの約90％を達成し、8から12エージェントに移行した際には93％のパフォーマンスを維持した。
• 共有の注目メカニズムにより、効果的な知識フィルタリングが可能となり、大規模チームにおける「過剰な助言」やパフォーマンス低下のリスクが低減される。
• PATは優れた移行性を示しており、移行したモデルは大規模チームにおける完全再学習ベースラインよりも高いパフォーマンスを達成し、顕著な計算コストの削減が可能である。
• マルチタスク設定では優れたパフォーマンスを示すが、全ランドマークをカバーするようなチーム協調が求められる共同タスクでは限界を示しており、グローバル報酬に配慮した注目メカニズムの導入が今後の課題である。