[论文解读] CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning

Vasu Sharma, Prasoon Goyal+4 more|arXiv (Cornell University)|Aug 26, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

CH-MARL 提出了一种新颖的多模态基准，用于协作性异构多智能体强化学习，该基准在富含多房间的家用环境中，让模拟人形机器人与无人机通过视觉和语言进行协作。研究显示，消息传递与多模态反馈显著提升了任务表现，揭示了在复杂、类现实世界环境中推进MARL的关键挑战与机遇。

ABSTRACT

We propose a multimodal (vision-and-language) benchmark for cooperative and heterogeneous multi-agent learning. We introduce a benchmark multimodal dataset with tasks involving collaboration between multiple simulated heterogeneous robots in a rich multi-room home environment. We provide an integrated learning framework, multimodal implementations of state-of-the-art multi-agent reinforcement learning techniques, and a consistent evaluation protocol. Our experiments investigate the impact of different modalities on multi-agent learning performance. We also introduce a simple message passing method between agents. The results suggest that multimodality introduces unique challenges for cooperative multi-agent learning and there is significant room for advancing multi-agent reinforcement learning methods in such settings.

研究动机与目标

• 为解决协作性异构多智能体强化学习（MARL）缺乏标准化、复杂环境的评估问题。
• 构建一个支持多模态输入（视觉与语言）及具备不同能力的异构智能体的基准。
• 探究多模态性与通信对协作性、类现实世界任务中MARL性能的影响。
• 提供一致的评估协议与开源框架，用于训练与测试MARL算法。
• 探索自然语言反馈与消息传递在提升智能体间协作与任务效率中的作用。

提出的方法

• 使用VirtualHome构建模拟家庭环境，包含具备第一视角视觉与物理交互能力的人形机器人，以及具备俯视视觉且无物理交互能力的无人机。
• 开发一种程序化语言生成器，提供自然语言反馈以引导智能体完成任务。
• 在智能体之间实现消息传递接口，以支持去中心化通信并提升协调能力。
• 将最先进的MARL算法（QMIX、QTRAN、VDN、DQN）与多模态观测（视觉与场景图）及语言反馈相结合。
• 采用一致的评估协议，在已见与未见环境中测量泛化能力与性能，使用PLW（路径长度加权）得分作为指标。
• 在多种设置下训练与评估模型：是否包含语言反馈、视觉与场景图观测的对比，以及是否启用消息传递。

实验结果

研究问题

• RQ1 在异构多智能体设置下，多模态输入（视觉与语言）如何影响协作性MARL算法的性能？
• RQ2 在去中心化MARL设置中，智能体间的消息传递在多大程度上提升了任务成功率与泛化能力？
• RQ3 不同观测模态（视觉与场景图）如何影响学习效率与未见环境中的泛化能力？
• RQ4 自然语言反馈在协作任务完成的学习过程中起到了何种作用？
• RQ5 现有MARL算法在复杂、多模态、异构基准上的表现如何，相较于行为克隆基线方法？

主要发现

• 基于消息传递的去中心化MARL模型显著优于无通信的基线模型，最佳模型在未见测试环境中达到20.05的PLW得分。
• 与无反馈基线相比，语言反馈使成功率相对提升了10%，表明其在引导智能体方面具有关键作用。
• 场景图观测的性能显著优于原始视觉观测（未见测试集最佳PLW：20.05 vs. 6.45），表明视觉特征表示存在挑战。
• 所有测试的MARL算法在未见环境中均取得较低的PLW得分，凸显了改进空间，并表明需要开发新型多模态MARL算法。
• 行为克隆在未见环境中的表现劣于基于强化学习的方法，其最佳PLW得分为13.72，而最佳强化学习方法达到20.05，表明强化学习在泛化方面具有优势。
• 视觉输入与语言反馈的结合在已见测试集上实现23.85%的成功率，而移除语言反馈后降至21.45%，证实了语言反馈的可测量收益。