[論文レビュー] CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning

Vasu Sharma, Prasoon Goyal+4 more|arXiv (Cornell University)|Aug 26, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

CH-MARL は、視覚と言語を用いて協働する多様な人型ロボットとドローンが、豊かな複数室の家庭環境で協働する、協働的かつ異種のマルチエージェント強化学習（MARL）のための新しいマルチモーダルベンチマークを導入する。研究では、メッセージ伝達とマルチモーダルフィードバックがタスクパフォーマンスを顕著に向上させることを示し、複雑で現実に近い設定におけるMARLの発展における主要な課題と機会を明らかにする。

ABSTRACT

We propose a multimodal (vision-and-language) benchmark for cooperative and heterogeneous multi-agent learning. We introduce a benchmark multimodal dataset with tasks involving collaboration between multiple simulated heterogeneous robots in a rich multi-room home environment. We provide an integrated learning framework, multimodal implementations of state-of-the-art multi-agent reinforcement learning techniques, and a consistent evaluation protocol. Our experiments investigate the impact of different modalities on multi-agent learning performance. We also introduce a simple message passing method between agents. The results suggest that multimodality introduces unique challenges for cooperative multi-agent learning and there is significant room for advancing multi-agent reinforcement learning methods in such settings.

研究の動機と目的

• 協働的かつ異種のマルチエージェント強化学習（MARL）を評価するための標準化された複雑な環境の不足に対処すること。
• 視覚と言語のマルチモーダル入力をサポートし、異なる能力を有する異種エージェントを含むベンチマークを構築すること。
• 協働的で現実に近いタスクにおけるマルチモーダルティーと通信のMARLパフォーマンスへの影響を調査すること。
• 訓練およびテストのための一貫性のある評価プロトコルとオープンソースフレームワークを提供すること。
• 自然言語フィードバックとメッセージ伝達が、エージェント間の協働性とタスク効率を向上させる役割を明らかにすること。

提案手法

• エージェントがエゴセントリック視覚と物理的相互作用を可能とする人型ロボット、およびトップダウン視覚を備えながら物理的相互作用を持たないドローンを備えた、VirtualHomeを用いたシミュレーテッド家庭環境を設計する。
• タスク完了を促す自然言語フィードバックを提供するための手続き的言語生成器を開発する。
• エージェント間の分散型通信を可能にするために、メッセージ伝達インターフェースを実装する。
• 最新のMARLアルゴリズム（QMIX、QTRAN、VDN、DQN）を、視覚的およびシーングラフ観測と言語フィードバックを組み合わせて統合する。
• 一般化性能とパフォーマンスを測定するため、既知および未知の環境を用いた一貫性のある評価プロトコルを用い、PLW（パス長加重点数）スコアを用いる。
• 言語フィードバックの有無、視覚的観測とシーングラフ観測の違い、メッセージ伝達の有無というさまざまな設定でモデルを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚と言語のマルチモーダル入力は、異種マルチエージェント設定における協働的MARLアルゴリズムのパフォーマンスにどのように影響するか？
• RQ2 エージェント間のメッセージ伝達は、分散型MARL設定において、タスク成功率と一般化性能をどの程度向上させるか？
• RQ3 異なる観測モダリティ（視覚的観測 vs. シーングラフ観測）は、未知環境における学習効率と一般化性能にどのように影響するか？
• RQ4 自然言語フィードバックは、協働的タスク完了の学習プロセスにおいて、どの程度貢献するか？
• RQ5 既存のMARLアルゴリズムは、複雑でマルチモーダルかつ異種のベンチマークにおいて、行動クラーニングベースラインと比較してどのように性能を示すか？

主な発見

• メッセージ伝達を用いた分散型MARLモデルは、通信を行わない対応モデルを顕著に上回り、最良のモデルは未知のテスト環境でPLWスコア20.05を達成した。
• 言語フィードバックは、フィードバックなしのベースラインと比較して、成功確率を相対的に10%向上させ、エージェントを誘導する上で極めて重要な役割を果たしていることを示した。
• シーングラフ観測は、生の視覚的観測（最良の未知環境PLW：6.45）よりも顕著に優れたパフォーマンス（最良の未知環境PLW：20.05）を示し、視覚的特徴表現における課題を示唆している。
• すべてのテスト済みMARLアルゴリズムは、未知環境で低スコアのPLWを記録しており、マルチモーダルMARLにおける新たなアルゴリズム開発の余地が著しくあることを示している。
• 行動クラーニングは、未知環境でRLベースの手法よりも成績が悪く、最良のPLWスコアは13.72であったのに対し、最良のRL手法では20.05に達しており、RLの一般化性能の優位性を示している。
• 視覚入力と言語フィードバックの組み合わせは、既知のテスト分割で23.85%の成功率を達成したが、言語フィードバックを削除すると21.45%に低下し、言語フィードバックの測定可能な利点を確認した。