[논문 리뷰] Scalable Evaluation of Multi-Agent Reinforcement Learning with Melting Pot

Joel Z. Leibo, Edgar A. Duéñez‐Guzmán외 8명|arXiv (Cornell University)|2021. 07. 14.

Reinforcement Learning in Robotics인용 수 23

한 줄 요약

Melting Pot는 사전 훈련된 '배경 인구'를 사용하여 다양한 제로샷 테스트 시나리오를 생성함으로써 확장 가능한 다중 에이전트 강화학습(MARL) 평가 틀이다. 이는 강화학습 정책의 일반화 능력을 견고하게 평가할 수 있도록 한다. 결과적으로, 새로운 사회적 맥락에서 개별 보상 최대화가 집단 보상 최대화보다 더 견고한 정책을 도출하는 경향이 있음을 드러낸다.

ABSTRACT

Existing evaluation suites for multi-agent reinforcement learning (MARL) do not assess generalization to novel situations as their primary objective (unlike supervised-learning benchmarks). Our contribution, Melting Pot, is a MARL evaluation suite that fills this gap, and uses reinforcement learning to reduce the human labor required to create novel test scenarios. This works because one agent's behavior constitutes (part of) another agent's environment. To demonstrate scalability, we have created over 80 unique test scenarios covering a broad range of research topics such as social dilemmas, reciprocity, resource sharing, and task partitioning. We apply these test scenarios to standard MARL training algorithms, and demonstrate how Melting Pot reveals weaknesses not apparent from training performance alone.

연구 동기 및 목표

• 다중 에이전트 강화학습(MARL) 분야에서 표준화되고 일반화 중심의 벤치마크가 부족하여 동일한 조건에서 알고리즘 간 비교가 어려운 문제를 해결하기 위해.
• 다중 에이전트 상호작용을 활용하여 테스트 환경을 만드는 데 필요한 인간 노동을 줄이기 위해.
• 테스트 시나리오가 '기초 환경 + 배경 인구' 공식을 통해 구성되어, 훈련된 에이전트의 제로샷 평가가 보장되도록 하는 벤치마크를 구축하기 위해.
• 사회적 딜레마, 상호 보상, 자원 공유, 작업 분할 등 다양한 MARL 연구 주제를 포괄하기 위해.
• 미래의 사회적 동적 변화에 대한 일반화 성능 측정이, 표준 훈련 성능에서는 드러나지 않는 약점을 드러낼 수 있음을 보여주기 위해.

제안 방법

• 핵심 방법은 고정된 환경 레이아웃과 규칙을 가진 '기초 환경'(substrate)과 고정된 정책을 가진 사전 훈련된 '배경 인구'(background population)를 조합하여 테스트 시나리오를 구성하는 것이다.
• 배경 인구는 별도로 훈련되며 평가 기간 동안 어떤 방식으로도 미세조정되지 않아, 새로운 사회적 상호작용에 대한 제로샷 일반화를 보장한다.
• 각 시나리오는 새로운 불편한 배경 인구로 교체하면서 기초 환경을 유지함으로써 일반화 능력을 테스트하도록 설계된다.
• 평가 과정은 엄격히 테스트 시간 동안만 이루어지며, 훈련 방법은 무관하므로 어떤 MARL 알고리즘도 동일한 프로토콜 하에 평가될 수 있다.
• 배경 인구를 다양한 기초 환경에 재사용함으로써 다양한 테스트 시나리오를 스케일러블하게 생성할 수 있다.
• 이 방법은 ImageNet과 같은 지도학습 벤치마크를 영감으로 삼았지만, 에이전트를 동적 테스트 환경으로 활용함으로써 MARL에 맞게 적응시켰다.

실험 결과

연구 질문

• RQ1 다중 에이전트 강화학습(MARL)을 위한 확장 가능하고 일반화 중심의 벤치마크를 구축할 수 있는가? 이는 환경 생성에 필요한 인간 노동을 줄일 수 있는가?
• RQ2 새로운 사회적 상호작용에 대해 제로샷 일반화를 수행할 때 MARL 알고리즘이 어떻게 성능을 발휘하는가? 이는 새로운 배경 인구에서의 성능으로 측정된다.
• RQ3 집단 보상 최대화가 개별 보상 최대화보다 새로운 사회적 상황에서 더 견고한 정책을 도출하는가?
• RQ4 표준 MARL 훈련 목표가 사회적 동적 변화에 대한 저항성(내성적 특성)을 충분히 반영하지 못하는 정도는 어느 정도인가?
• RQ5 다중 에이전트 시스템이 상호의존성을 통해 자연스럽게 다양한 테스트 환경을 생성함으로써 수동적인 환경 설계의 필요성을 줄일 수 있는가?

주요 결과

• 개별 보상 최대화는 종종 집단 보상 최대화로 훈련된 정책보다 새로운 사회적 상황에서 더 나은 일반화 성능을 보인다.
• Commons Harvest 시나리오에서, 개별 보상 최대화 정책은 SC5 테스트에서 71.6%의 성공률을 기록했고, 집단 보상 최대화 정책은 38.7%에 그쳤다.
• King of the Hill 시나리오에서, 개별 보상 최대화 정책은 SC1에서 627.8%의 보상을 기록했고, 집단 보상 최대화 정책은 -3.2%에 머물렀다.
• Stag Hunt 및 Prisoner's Dilemma 시나리오에서, 개별 보상 최대화 정책은 배신 및 협력 실패에 더 강건한 것으로 나타났다.
• Territory 시나리오에서, 개별 보상 최대화 정책은 SC1에서 273.4%의 보상을 기록했으며, 집단 보상 최대화 정책을 크게 앞서나갔다.
• 결과적으로, 집단 보상 최대화가 새로운 사회적 동적 변화에 대한 일반화를 보장하지 못할 뿐 아니라, 오히려 이를 손상시킬 수 있음을 시사한다.