[논문 리뷰] ELIGN: Expectation Alignment as a Multi-Agent Intrinsic Reward

Zixian Ma, Rose Wang외 3명|arXiv (Cornell University)|2022. 10. 09.

Mosquito-borne diseases and control인용 수 6

한 줄 요약

이 논문은 분산 학습과 희박한 보상 조건 하에서 다중 에이전트 강화학습을 가능하게 하는 태스크에 종속되지 않는 내재 보상인 ELIGN을 제안한다. 동물 군집의 자율적 조직화에서 영감을 얻어, ELIGN은 에이전트가 이웃의 예측과 일치하는 방식으로 행동하도록 유도하여 중앙집중식 학습이나 밀도 높은 보상 없이도 협업을 향상시킨다. 특히 부분 관측 조건에서도 최신 기술 수준의 성능을 달성하며, 다중 에이전트 입자 및 구글 리서치 풋볼 환경에서 뛰어난 성능을 보였다.

ABSTRACT

Modern multi-agent reinforcement learning frameworks rely on centralized training and reward shaping to perform well. However, centralized training and dense rewards are not readily available in the real world. Current multi-agent algorithms struggle to learn in the alternative setup of decentralized training or sparse rewards. To address these issues, we propose a self-supervised intrinsic reward ELIGN - expectation alignment - inspired by the self-organization principle in Zoology. Similar to how animals collaborate in a decentralized manner with those in their vicinity, agents trained with expectation alignment learn behaviors that match their neighbors' expectations. This allows the agents to learn collaborative behaviors without any external reward or centralized training. We demonstrate the efficacy of our approach across 6 tasks in the multi-agent particle and the complex Google Research football environments, comparing ELIGN to sparse and curiosity-based intrinsic rewards. When the number of agents increases, ELIGN scales well in all multi-agent tasks except for one where agents have different capabilities. We show that agent coordination improves through expectation alignment because agents learn to divide tasks amongst themselves, break coordination symmetries, and confuse adversaries. These results identify tasks where expectation alignment is a more useful strategy than curiosity-driven exploration for multi-agent coordination, enabling agents to do zero-shot coordination.

연구 동기 및 목표

• 중앙집중식 크티컬과 밀도 높은 보상 형태 조정이 불가능한 상황에서 분산 학습과 희박한 보상 조건 하에서 다중 에이전트 협업을 해결하고자 한다.
• 외부 감독이나 완전한 관측 없이도 협업 행동을 학습할 수 있는 태스크에 종속되지 않는 내재 보상을 개발하고자 한다.
• 에이전트의 행동을 팀원들의 기대치와 일치시켜 협업을 향상시키고, 오해협업과 대칭성 붕괴 문제를 줄이고자 한다.
• 특히 다양한 에이전트 능력이 존재하는 복잡한 환경에서, 제로샷 협업과 확장성을 가능하게 하고자 한다.
• 기존의 내재 보상(예: 궁금증 기반 보상)과 비교해도 분산형, 부분 관측 환경에서 성능을 뛰어나게 하고자 한다.

제안 방법

• ELIGN은 에이전트의 행동이 이웃들이 그의 향후 관측에 대해 형성한 기대치와 얼마나 잘 일치하는지에 기반한 내재 보상을 계산한다.
• 각 에이전트는 국소 관측과 세계 모델을 기반으로 이웃의 향후 관측을 예측하여 기대치 모델링을 위한 '예측 헤드'를 형성한다.
• 내재 보상은 예측된 관측과 실제 관측 간의 평균 제곱오차의 음수로 계산되며, 이는 팀원의 예측에 대한 불확실성을 줄이는 행동을 장려한다.
• 이 방법은 동물학에서 관찰되는 자율적 조직화 원리에서 유래한 자기지도 학습 목표를 활용한다. 여기서 에이전트들은 국소적 예측 일치를 통해 협업한다.
• 이 접근법은 공유된 세계 모델과 별도의 정책 네트워크를 사용하는 SAC 기반 다중 에이전트 강화학습 프레임워크를 활용하며, 분산 방식으로 종합적으로 학습된다.
• 세 가지 변형을 평가: self-ELIGN(에이전트가 자신의 향후 상태를 예측), team-ELIGN(에이전트가 팀원의 향후 상태를 예측), adv-ELIGN(에이전트가 적의 향후 상태를 예측) — 성능에 대한 분석 실험을 실시하였다.

실험 결과

연구 질문

• RQ1 기대치 일치가 분산 학습과 희박한 보상 조건 하에서 다중 에이전트 RL에 대한 실현 가능한 내재 보상으로 기능할 수 있는가?
• RQ2 ELIGN은 중앙집중식 크티컬이나 밀도 높은 보상 형태 조정 없이도 다중 에이전트 작업에서 협업을 향상시키는가?
• RQ3 다양한 환경에서 ELIGN이 궁금증 기반 및 희박한 내재 보상과 비교해 확장성과 성능 면에서 어떻게 성과를 내는가?
• RQ4 기대치 일치가 협업을 위해 궁금증 기반 탐색보다 뛰어난 성능을 보이는 상황은 어떤가?
• RQ5 ELIGN으로 훈련된 에이전트가 확장되거나 알려지지 않은 구성에서 제로샷 협업으로 일반화할 수 있는가?

주요 결과

• ELIGN은 다중 에이전트 입자 및 구글 리서치 풋볼 환경의 6개 작업 중 5개에서 희박한 보상과 궁금증 기반 보상보다 뛰어난 성능을 보였다. 특히 부분 관측 조건과 분산 학습 환경에서 두드러진 성능을 보였다.
• 5개 에이전트가 참여하는 협동 주행 작업에서, ELIGN(self-variant)은 평균 외재 보상 471.07 ± 5.00을 달성하여 희박한 기준선의 434.68 ± 6.42를 초월했다.
• 6개 에이전트로 구성된 이질적 주행 작업에서는 ELIGN(team-variant)이 699.56 ± 11.64를 기록하여 희박한 기준선의 561.16 ± 31.63보다 뚜렷이 뛰어났다.
• 물리적 속임수 작업에서는 ELIGN(self-variant)이 248.16 ± 6.62를 달성했고, 희박한 기준선의 128.64 ± 17.31보다 높아져 경쟁 환경에서의 협업 향상을 확인했다.
• 예측자-사냥개 및 유지-가드 작업에서는 ELIGN이 에이전트와 적 사이의 거리를 줄이고 협업을 향상시켰으며, team-ELIGN 변형은 예측자-사냥개 작업에서 기준선의 1.93 ± 0.00 대비 2.04 ± 0.01을 기록했다.
• ELIGN은 강력한 제로샷 일반화 성능을 보였다. ELIGN으로 훈련된 에이전트는 확장된 환경에서도 희박한 보상 또는 궁금증 기반 방법보다 높은 성능을 기록했다.