[論文レビュー] Learning Control Admissibility Models with Graph Neural Networks for Multi-Agent Navigation

Chenning Yu, Hongzhan Yu+1 more|arXiv (Cornell University)|Oct 17, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、マルチエージェントナビゲーションのための安全で実行可能な行動集合を学習するために、グラフニューラルネットワークを用いた制御許容モデル（CAMs）を提案する。衝突回避とゴール到達を分離することで、分布シフトに強い性能を達成する。スパarsな報酬とバックプロパゲーションを用いたリラベルリングにより訓練され、エージェント数の変動に一般化可能である。実際に数百のエージェントが密集した環境に展開しても高い成功確率と低衝突率を達成し、最先端手法を上回り、チェイジングゲームのような新しいタスクに対してもゼロショット転移を可能にする。

ABSTRACT

Deep reinforcement learning in continuous domains focuses on learning control policies that map states to distributions over actions that ideally concentrate on the optimal choices in each step. In multi-agent navigation problems, the optimal actions depend heavily on the agents' density. Their interaction patterns grow exponentially with respect to such density, making it hard for learning-based methods to generalize. We propose to switch the learning objectives from predicting the optimal actions to predicting sets of admissible actions, which we call control admissibility models (CAMs), such that they can be easily composed and used for online inference for an arbitrary number of agents. We design CAMs using graph neural networks and develop training methods that optimize the CAMs in the standard model-free setting, with the additional benefit of eliminating the need for reward engineering typically required to balance collision avoidance and goal-reaching requirements. We evaluate the proposed approach in multi-agent navigation environments. We show that the CAM models can be trained in environments with only a few agents and be easily composed for deployment in dense environments with hundreds of agents, achieving better performance than state-of-the-art methods.

研究の動機と目的

• エージェント密度の変動に伴う一般化の課題に取り組むこと。標準的な強化学習方策は分布シフトのため失敗する。
• ゴール到達と衝突回避を分離することで、環境特有の複雑な報酬設計の必要性を排除すること。
• 最適な行動ではなく、許容可能な行動の集合論的表現を学習することで、合成的かつスケーラブルな推論を可能にすること。
• スパarsな報酬とバックプロパゲーションに基づくリラベルリングを活用した訓練手法を開発し、遷移から豊富な情報を抽出すること。
• GNNベースのCAMsを用いて一貫した安全制約を学習することで、新しいタスク（例：チェイジングゲーム）へのゼロショット転移を可能にすること。

提案手法

• 本手法は、エゴセントリックなエージェント状態グラフを許容可能な行動集合へ写像するGNNとして表現される制御許容モデル（CAMs）を導入する。
• CAMsは、スパarsな報酬と、バックプロパゲーションを用いた新しいリラベルリング技術を活用したモデルフリー強化学習設定で訓練される。
• 推論時、状態グラフがより小さな部分グラフに分解され、エージェント間でCAMsが合成されて、スケーラブルかつ分散型の行動選択が可能になる。
• 安全でない行動とタスクの目的を分離するために、単純なゴール到達の好み関数をCAMと組み合わせて使用する。
• GNNアーキテクチャは局所的なエージェント間相互作用を処理し、衝突回避に不可欠な複雑な非線形相互作用パターンを捉える。
• 推論時のグラフ分解により、共変量シフトが軽減され、少数のエージェント（例：3体）で訓練されたモデルが、高密度な展開（例：512体）にも一般化可能になる。

実験結果

リサーチクエスチョン

• RQ1 学習ベースの手法は、再訓練なしに、著しく異なるエージェント密度のマルチエージェントナビゲーションで一般化可能か？
• RQ2 衝突回避をゴール到達の目的から分離することで、報酬設計の複雑さを軽減できるか？
• RQ3 許容可能な行動の集合論的表現は、大規模マルチエージェントシステムにおけるスケーラブルで合成可能な推論を可能にするか？
• RQ4 スパarsなデータで、バックプロパゲーションを用いたリラベルリングにより訓練されたGNNベースのCAMは、未観測の高密度環境でも高い性能を達成するか？
• RQ5 訓練済みのCAMは、根本的に異なるタスク（例：チェイジングゲーム）に対してゼロショット転移を一般化できるか？

主な発見

• 最大3体のエージェントで訓練されたCAMsは、512体のエージェントが密集した環境に展開した際、99%の安全性と98.9%の成功確率を達成し、ベースライン手法を著しく上回った。
• 自動車環境では、グラフ分解を適用したCAMは、安全性0.99 ± 0.00、報酬3.10 ± 1.20を達成した。一方、分解なしでは、安全性0.90 ± 0.03、報酬-19.98 ± 7.08であった。
• ドローンのチェイジングゲーム（64体）では、CAM手法が98.9%の安全性と6.84 ± 1.12の報酬を達成し、新しいタスクへの効果的なゼロショット転移を示した。
• 512体のエージェントで安全性が低下する失敗モードは、連続する状態で負のCAM値に起因しており、これは十分な実行可能行動が存在しないことを示唆し、高密度クラスタではグローバルな協調の必要性を強調した。
• 特に2次元自動車環境では、グラフ分解が高密度シナリオでの性能を顕著に向上させた。これは、トレーニング条件からの構造的乖離が大きいからである。
• エキスパートのデモンストレーションや報酬形状の調整を一切用いずに、スパarsな報酬とバックプロパゲーションに基づくリラベルリングに依存することで、効果的な学習が可能になった。