[論文レビュー] Multi-Agent Policy Transfer via Task Relationship Modeling

Rongjun Qin, Feng Chen+6 more|arXiv (Cornell University)|Mar 9, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

この論文では、効果に基づくタスク表現を通じてタスク関係をモデル化するマルチエージェント強化学習フレームワーク、MATTARを提案する。MATTARは、ハイパーネットを用いて共有のタスク関係に配慮した表現空間を学習し、交互に固定トレーニングを行うことで、少数のソースタスクから未学習のタスクへ高い成功率で知識を転送する。ベースラインを上回り、新しいタスクにおける有効なファインチューニングを可能にする。

ABSTRACT

Team adaptation to new cooperative tasks is a hallmark of human intelligence, which has yet to be fully realized in learning agents. Previous work on multi-agent transfer learning accommodate teams of different sizes, heavily relying on the generalization ability of neural networks for adapting to unseen tasks. We believe that the relationship among tasks provides the key information for policy adaptation. In this paper, we try to discover and exploit common structures among tasks for more efficient transfer, and propose to learn effect-based task representations as a common space of tasks, using an alternatively fixed training scheme. We demonstrate that the task representation can capture the relationship among tasks, and can generalize to unseen tasks. As a result, the proposed method can help transfer learned cooperation knowledge to new tasks after training on a few source tasks. We also find that fine-tuning the transferred policies help solve tasks that are hard to learn from scratch.

研究の動機と目的

• エージェント数や入力長が異なるマルチエージェントタスク間で協働ポリシーを転送する課題に対処すること。
• タスク表現を通じて類似性と相違性を明示的にモデル化することで、転送効率を向上させること。
• タスク固有の再トレーニングを一切行わずに、少数のソースタスクからのみ知識を転送し、未学習のタスクに適用できること。
• 神経ネットワークのインダクティブバイアスに依存する手法よりも一般化性能に優れた、統一的なマルチエージェント転移学習フレームワークを提供すること。

提案手法

• 現在の状態、アクション、観測から次の状態、観測、報酬を予測するフォワードモデルを用いて、効果に基づくタスク表現を学習する。
• タスク固有の表現に条件付けられた、共有のハイパーネット（表現説明者）がフォワードモデルのパラメータを生成し、タスク間でパラメータ共有を実現する。
• 代替的・固定トレーニング方式では、トレーニング中にタスク表現を直交ベクトルとして固定し、表現説明者を更新した後、説明者を固定して推論時に新しいタスク表現をファインチューニングする。
• ポリシーはタスク表現に条件付けられており、チームサイズの変動に耐えうる人口および入力長不変性を持つように設計されている。
• 未学習のタスクに対しては、固定されたフォワードモデルを介してバックプロパゲーションすることで、ソースタスク表現の線形結合として表現を学習する。
• 自己注意機構を統合した人口不変アーキテクチャにより、表現能力と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 神経ネットワークの一般化を超えて、タスク関係を効果的にモデル化することでマルチエージェントポリシー転送を改善できるか？
• RQ2 共有の表現空間が、多様な協働的マルチエージェントタスク間の類似性と相違性を捉えられるか？
• RQ3 ソースタスク表現の線形結合としてタスク表現を学習することで、未学習のタスクへの有効な転送が可能になるか？
• RQ4 転送されたポリシーをファインチューニングすることで、新規タスクで完全から再トレーニングするよりも高いパフォーマンスが得られるか？
• RQ5 複数のソースタスクを同時にトレーニングすることで、個別トレーニングに比べて転送性能が向上するか？

主な発見

• MATTARは、特にMMM2のような難易度の高いマップにおいて、QMIX や QPLEX などの最先端ベースラインを大きく上回る高い成功確率を達成した。
• 未学習タスクで転送されたポリシーをファインチューニングすることで、完全から再トレーニングするよりも高いパフォーランスが得られ、タスク表現が強力なポリシー初期化を提供していることが示された。
• 単一タスク学習アルゴリズムですら、MATTARは個別タスクでトレーニングされた場合に優る性能を示し、より優れた表現能力を有していることが確認された。
• 学習されたソースタスク表現の線形結合では、類似度の高いソースタスクが通常最も高い係数を獲得しており、モデルが意味のあるタスク関係を捉えていることが裏付けられた。
• 10m_vs_12m のような状況では、複数のソースタスク（例：5m と 10m_vs_11m）が顕著に寄与しており、MATTARが複数のソースから混合ポリシー知識を学習できることを示している。
• SMACベンチマークにおいてもベースラインと同等のパフォーマンスを示しており、多様な協働環境において堅牢であることが確認された。