[논문 리뷰] CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning

Vasu Sharma, Prasoon Goyal외 4명|arXiv (Cornell University)|2022. 08. 26.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

CH-MARL는 시각과 언어를 활용하여 다수의 실내 공간을 가진 시뮬레이션 환경에서 협동적이고 이질적인 다중 에이전트 강화학습(MARL)을 위한 새로운 다중모달 벤치마크를 제안한다. 본 연구는 메시지 전달과 다중모달 피드백이 작업 성능을 크게 향상시킴을 입증하며, 복잡한 실생활 유사 환경에서 MARL를 발전시킬 수 있는 핵심 과제와 기회를 밝혀낸다.

ABSTRACT

We propose a multimodal (vision-and-language) benchmark for cooperative and heterogeneous multi-agent learning. We introduce a benchmark multimodal dataset with tasks involving collaboration between multiple simulated heterogeneous robots in a rich multi-room home environment. We provide an integrated learning framework, multimodal implementations of state-of-the-art multi-agent reinforcement learning techniques, and a consistent evaluation protocol. Our experiments investigate the impact of different modalities on multi-agent learning performance. We also introduce a simple message passing method between agents. The results suggest that multimodality introduces unique challenges for cooperative multi-agent learning and there is significant room for advancing multi-agent reinforcement learning methods in such settings.

연구 동기 및 목표

• 협동적이고 이질적인 다중 에이전트 강화학습(MARL)을 평가하기 위한 표준화되고 복잡한 환경의 부족을 해결하기 위해.
• 다양한 능력을 지닌 이질적 에이전트와 함께 시각 및 언어와 같은 다중모달 입력을 지원하는 벤치마크를 구축하기 위해.
• 협동적이고 실생활 유사 작업에서 다중모달성과 통신이 MARL 성능에 미치는 영향을 조사하기 위해.
• MARL 알고리즘의 훈련 및 테스트를 위한 일관된 평가 프로토콜과 오픈소스 프레임워크를 제공하기 위해.
• 자연어 피드백과 메시지 전달이 상호 에이전트 협업 및 작업 효율성 향상에 미치는 역할을 탐색하기 위해.

제안 방법

• 에이전트가 시각적 인식과 물리적 상호작용을 수행할 수 있는 에고세트릭 뷰를 갖춘 인간형 로봇과 상향식 뷰를 갖춘 드론(물리적 상호작용 없음)을 포함하는 VirtualHome 기반의 시뮬레이션 주거 환경 설계.
• 에이전트가 작업 완료를 향해 유도할 수 있도록 자연어 피드백을 제공하는 절차적 언어 생성기 개발.
• 에이전트 간의 분산 통신을 가능하게 하여 협업을 향상시키기 위해 메시지 전달 인터페이스 구현.
• 최신 MARL 알고리즘(QMIX, QTRAN, VDN, DQN)을 다중모달 관측(시각 및 시나리오 그래프)과 언어 피드백과 통합.
• PLW(경로 길이 가중치) 점수를 사용하여 일반화 능력과 성능을 측정하기 위해 알려진 및 알려지지 않은 환경을 포함한 일관된 평가 프로토콜 사용.
• 언어 피드백 유무, 시각 관측 대비 시나리오 그래프 관측, 메시지 전달 유무 등 다양한 설정에서 모델을 훈련 및 평가.

실험 결과

연구 질문

• RQ1 비디오 및 언어와 같은 다중모달 입력이 이질적인 다중 에이전트 환경에서 협동적 MARL 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ2 에이전트 간 메시지 전달이 분산 MARL 환경에서 작업 성공률과 일반화 능력을 얼마나 향상시키는가?
• RQ3 다른 관측 모odal(시각 대비 시나리오 그래프)이 알려지지 않은 환경에서 학습 효율성과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 자연어 피드백이 협동 작업 완료 과정에서 학습 과정에 기여하는 정도는 어떠한가?
• RQ5 기존 MARL 알고리즘이 복잡하고 다중모달적이며 이질적인 벤치마크에서 행동 클로닝 기반 베이스라인 대비 어떻게 성능을 내는가?

주요 결과

• 메시지 전달 기반의 분산 MARL 모델은 통신 기능이 없는 모델보다 유의미하게 높은 성능을 보이며, 최고 성능 모델은 알려지지 않은 테스트 환경에서 PLW 점수 20.05를 기록했다.
• 언어 피드백은 피드백이 없는 베이스라인 대비 성공률 10% 상승을 이끌어내어 에이전트 유도에 핵심적인 역할을 함을 입증했다.
• 시나리오 그래프 관측은 원시 시각 관측보다 훨씬 높은 성능을 보이며(최고 테스트-언제 PLW: 20.05), 원시 시각 관측은 최고 테스트-언제 PLW: 6.45에 머물러 있어 시각적 특징 표현의 어려움을 드러냈다.
• 모든 테스트된 MARL 알고리즘은 알려지지 않은 환경에서 낮은 PLW 점수를 기록하여 다중모달 MARL에서의 향상 여지가 크며, 새로운 알고리즘 개발의 필요성을 시사했다.
• 행동 클로닝은 RL 기반 방법보다 알려지지 않은 환경에서 성능이 열 劣하나, 최고 PLW 점수 13.72를 기록한 반면 최고의 RL 방법은 20.05를 기록하여 RL의 일반화 우월성을 입증했다.
• 시각 입력과 언어 피드백의 조합은 알려진 테스트 분할에서 성공률 23.85%를 기록했고, 언어 피드백을 제거하면 성공률이 21.45%로 감소하여 언어 피드백의 측정 가능한 기여도를 확인했다.