[論文レビュー] A General Learning Framework for Open Ad Hoc Teamwork Using Graph-based Policy Learning

Arrasy Rahman, Ignacio Carlucho+2 more|arXiv (Cornell University)|Oct 11, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文では、可変なチームサイズと部分観測性に対応するため、グラフニューラルネットワークを用いて変動するチーム構成を扱う一般化されたフレームワークであるグラフベース政策学習（GPL）を提案する。GPLは、チームメイトの種別を推定し、行動を予測し、GNNを用いて連携行動価値をモデル化することで、完全観測および部分観測環境の両方でベースラインを上回る優れた性能を達成する。

ABSTRACT

Open ad hoc teamwork is the problem of training a single agent to efficiently collaborate with an unknown group of teammates whose composition may change over time. A variable team composition creates challenges for the agent, such as the requirement to adapt to new team dynamics and dealing with changing state vector sizes. These challenges are aggravated in real-world applications in which the controlled agent only has a partial view of the environment. In this work, we develop a class of solutions for open ad hoc teamwork under full and partial observability. We start by developing a solution for the fully observable case that leverages graph neural network architectures to obtain an optimal policy based on reinforcement learning. We then extend this solution to partially observable scenarios by proposing different methodologies that maintain belief estimates over the latent environment states and team composition. These belief estimates are combined with our solution for the fully observable case to compute an agent's optimal policy under partial observability in open ad hoc teamwork. Empirical results demonstrate that our solution can learn efficient policies in open ad hoc teamwork in fully and partially observable cases. Further analysis demonstrates that our methods' success is a result of effectively learning the effects of teammates' actions while also inferring the inherent state of the environment under partial observability.

研究の動機と目的

• 動的に変化するチームメイトと協働する単一エージェントを、オープンアドホックチームワーク設定で学習する課題に取り組む。
• 従来のアドホックチームワーク手法における固定入力モデルと静的チーム構成の仮定の制限を克服する。
• 可変なチームサイズを伴う完全観測および部分観測環境の両方に一般化可能な統一フレームワークを開発する。
• 潜在状態およびチームメイト構成の信念推定を維持することで、部分観測下での効率的な政策学習を可能にする。
• グラフニューラルネットワークが、政策学習のための可変サイズのマルチエージェント相互作用を効果的にモデル化できることを実証する。

提案手法

• 可変な入力サイズを扱えるように、チームメイトの種別、行動、および連携行動価値をモデル化するため、グラフニューラルネットワーク（GNNs）を用いる。これにより、動的なチーム構成に対応できる。
• 部分観測性下で、潜在環境状態およびチームメイトの方策の推定を維持するため、パーティクルフィルタを用いた信念更新機構を実装する。
• チームメイト種別の推定、行動予測、および連携行動価値モデル化を統合した、GNNに基づく政策ネットワーク（GPL）を構築する。
• 行動予測および信念推定の両方の損失関数として、強化学習（TD誤差）と負の対数尤度損失を組み合わせてフレームワークを訓練する。
• 訓練中に不確実な信念分布を近似するため、潜在状態（z）に対してモンテカルロサンプリングを用いる。
• エージェントモデリング、価値予測、方策出力の各ヘッドを別々に持つマルチコンponentアーキテクチャを採用し、すべてをGNN処理によるグラフ表現に基盤を置く。

実験結果

リサーチクエスチョン

• RQ1 完全観測下でも、可変なチームサイズを伴うオープンアドホックチームワークに対して、一般化された学習フレームワークが効果的に機能するか。
• RQ2 チームメイトの行動と構成が未知かつ動的に変化する状況下で、単一エージェントが方策をどのように適応的に学習できるか。
• RQ3 グラフニューラルネットワークが、オープンチームワークにおける可変サイズのマルチエージェント相互作用を、政策学習にどの程度効果的にモデル化できるか。
• RQ4 信念推定の統合が、部分観測下のオープンアドホックチームワークにおける方策性能をどの程度向上させるか。
• RQ5 提案フレームワークが、完全観測および部分観測環境の両方で、未知の多様な方策を持つ未観測のチームメイトに対しても一般化可能か。

主な発見

• GPLフレームワークは、オープンアドホックチームワーク環境において、価値ベースおよびマルチエージェント強化学習のベースラインを著しく上回る報酬を達成する。
• 本手法は、訓練時に未観測だったチームメイトに対しても、チームメイト種別の推定と行動予測を効果的に行うことができ、優れた一般化性能を示している。
• 部分観測下では、パーティクルフィルタを用いた信念推定により、正確な潜在状態表現を維持することで、効果的な方策学習が可能になる。
• 実験的結果から、フレームワークの成功は、チームメイトの行動の影響を効果的にモデル化し、環境の隠れた状態を推定できることに起因することが示された。
• GNNの使用により、動的チーム構成に起因する可変サイズの入力ベクトルを処理できるようになり、標準的な関数近似手法の主な制限を克服した。
• 異なる乱数シードで訓練された未観測のチームメイトに対しても、フレームワークは良好な一般化性能を示しており、オープンチームにおける方策多様性へのロバストネスを裏付けた。