[論文レビュー] Relational Forward Models for Multi-Agent Learning

Andrea Tacchetti, Hui Song+6 more|arXiv (Cornell University)|Sep 28, 2018

Neural Networks and Applications被引用数 26

ひとこと要約

本稿では、エンティティとその相互作用をモデル化することで、マルチエージェントシステムのダイナミクスを予測するグラフネットワークベースの手法、関係的フォワードモデル（RFM）を提案する。RFMモジュールをエージェントに統合することで、集中型制御なしに迅速な協調学習が可能となり、Stag Hunt や協調的ナビゲーションなどのマルチエージェント環境において、最大2倍のサンプル効率が達成された。

ABSTRACT

The behavioral dynamics of multi-agent systems have a rich and orderly structure, which can be leveraged to understand these systems, and to improve how artificial agents learn to operate in them. Here we introduce Relational Forward Models (RFM) for multi-agent learning, networks that can learn to make accurate predictions of agents' future behavior in multi-agent environments. Because these models operate on the discrete entities and relations present in the environment, they produce interpretable intermediate representations which offer insights into what drives agents' behavior, and what events mediate the intensity and valence of social interactions. Furthermore, we show that embedding RFM modules inside agents results in faster learning systems compared to non-augmented baselines. As more and more of the autonomous systems we develop and interact with become multi-agent in nature, developing richer analysis tools for characterizing how and why agents make decisions is increasingly necessary. Moreover, developing artificial agents that quickly and safely learn to coordinate with one another, and with humans in shared environments, is crucial.

研究の動機と目的

• 集中型コントローラーやパラメータ共有なしにマルチエージェント強化学習（MARL）における協調行動を促進する課題に対処すること。
• エージェントの行動が何によって駆動されているか、また社会的相互作用がどのように生じるかを理解するための解釈可能な分析ツールを開発すること。
• チームメイトの将来の行動に関する内部モデルをエージェントに追加することで、MARLにおけるサンプル効率を向上させること。
• 各エージェントがオンボードのRFMモジュールを通じて他のエージェントの行動を予測し、学習中にその予測を用いて計画を立てる仕組みを提供することで、協調行動の学習を高速化すること。
• トラジェクトリーデータのみを用いて、人工的および人間エージェントを含むシステムの行動ダイナミクスをスケーラブルかつ非侵襲的に分析する手法を提供すること。

提案手法

• 時間的ダイナミクスを関係的グラフ上でモデル化するため、グラフニューラルネットワーク（GNN）エンコーダ、グラフゲートドリフトユニット（GRU）、GNNデコーダをスタックしたRFMを構築する。
• ノードをエージェントとオブジェクト、エッジをエンティティ間の関係（例：近接性、方向）で表現する、異種グラフとして環境を表現する。
• 現在の状態表現に基づいて他のエージェントの将来の行動を予測するために、交差エントロピー損失を用いてRFMモジュールをエンドツーエンドで訓練する。
• 学習エージェントの観測ストリームを、予測された行動ログオフセットを画像平面表現に変換することで拡張し、エゴセントリックな観測と連結する。
• 各エージェントのポリシーネットワークにRFMモジュールを直接統合し、トレーニング中に予測されたチームメイトの行動を用いて計画を立てる能力を付与する。
• RFMとポリシーをパラメータ共有や勾配漏れなしに、エージェント間で独立して同時に学習させることで、分散型学習を保証する。

実験結果

リサーチクエスチョン

• RQ1 関係的フォワードモデルは、マルチエージェント環境におけるエージェントの将来の行動を正確に予測できるか？
• RQ2 RFMの中間表現は、エージェント行動の駆動要因および社会的相互作用ダイナミクスの理解に解釈可能なインサイトを提供するか？
• RQ3 エージェント内にRFMモジュールを埋め込むことで、非拡張ベースラインと比較して協調行動の学習が著しく速くなるか？
• RQ4 RFMベースのエージェントは、明示的な通信なしに、観測された行動からチームメイトの好みや意図を推論できるか？
• RQ5 RFMアプローチは、さまざまなマルチエージェント環境やエージェント数の変動に対してもスケーラブルかつ効果的か？

主な発見

• RFMモデルは、Stag Hunt、協調的ナビゲーション、コインゲームなどのマルチエージェント環境において、先行手法を上回る精度でフォワードダイナミクス予測を達成した。
• RFMの中間表現は、どのエンティティや関係がエージェント行動に影響を与え、社会的相互作用の価値や強度を媒介しているかを解釈可能な形で明らかにした。
• RFM拡張エージェントは、非拡張ベースラインと比較して、協調行動の学習が著しく高速化され、Stag Huntでは約60万ステップで報酬25に到達したのに対し、ベースラインエージェントは約100万ステップを要した。
• 4エージェントのStag Huntバージョンでは、RFM拡張エージェントが約50万ステップで同じパフォーマンスに到達したのに対し、ベースラインエージェントは約100万ステップを要した。これはスケーラビリティを示している。
• コインゲームでは、RFM拡張エージェントがチームメイトの行動から「負のコインの色」をより効率的に推論することができ、意図認識能力の向上が示された。
• オンボードのRFMモジュールにより、通信やパラメータ共有、集中型コントローラーを一切必要とせず、学習が高速化された。これは、チームメイトの内部モデル化が協調性の向上を加速できることを示唆している。