[논문 리뷰] Agent-Centric Representations for Multi-Agent Reinforcement Learning

Wenling Shang, Lasse Espeholt외 2명|arXiv (Cornell University)|2021. 04. 19.

Reinforcement Learning in Robotics참고 문헌 26인용 수 7

한 줄 요약

이 논문은 다중 에이전트 강화 학습(MARL)을 위한 에이전트 중심 표현을 소개하며, 복잡한 협업을 가능하게 하는 에이전트 중심 어텐션 모듈과 사전 훈련 또는 보조 학습을 위한 에이전트 중심 비지도 예측 목표를 제안한다. 구글 리서치 풋볼과 딥마인드 랩 2D에서의 실험 결과, 이러한 구성 요소들은 샘플 효율성과 일반화 능력을 향상시키며 잠재적인 팀워크 전략을 유도한다. 최고의 에이전트는 공개 GRF 랭킹에서 1위를 기록했다.

ABSTRACT

Object-centric representations have recently enabled significant progress in tackling relational reasoning tasks. By building a strong object-centric inductive bias into neural architectures, recent efforts have improved generalization and data efficiency of machine learning algorithms for these problems. One problem class involving relational reasoning that still remains under-explored is multi-agent reinforcement learning (MARL). Here we investigate whether object-centric representations are also beneficial in the fully cooperative MARL setting. Specifically, we study two ways of incorporating an agent-centric inductive bias into our RL algorithm: 1. Introducing an agent-centric attention module with explicit connections across agents 2. Adding an agent-centric unsupervised predictive objective (i.e. not using action labels), to be used as an auxiliary loss for MARL, or as the basis of a pre-training step. We evaluate these approaches on the Google Research Football environment as well as DeepMind Lab 2D. Empirically, agent-centric representation learning leads to the emergence of more complex cooperation strategies between agents as well as enhanced sample efficiency and generalization.

연구 동기 및 목표

• 객체 중심 인덕티브 바이어스가 이전에 시각 및 추론 분야에서 성공을 거둔 바와 같이 다중 에이전트 강화 학습(MARL)에 유익한가를 조사하는 것.
• 분산된 에이전트를 공유 정책 네트워크 내에서 명시적인 교류를 가능하게 하는 에이전트 중심 어텐션 메커니즘을 설계하고 평가하는 것.
• 행동 레이블이 필요 없이 관측 자료만으로 각 에이전트의 향후 위치를 예측하는 에이전트 중심 비지도 궤적 예측 작업을 개발하여 사전 훈련 또는 보조 손실로 활용하는 것.
• 에이전트 중심 표현이 어려운 MARL 환경에서 샘플 효율성, 일반화 능력, 잠재적 협업 전략 유도에 미치는 영향을 평가하는 것.

제안 방법

• 분산된 에이전트의 순방향 전파에서 유도된 중간 특징을 기반으로 작동하는 에이전트 중심 어텐션 모듈을 도입하여, 공유 정책 네트워크 내에서 명시적인 이중 에이전트 간 통신을 가능하게 한다.
• 행동 레이블 없이도 관측 자료만으로 각 에이전트의 향후 위치를 예측하는 새로운 에이전트 중심 예측 목표를 활용하여, 비지도 사전 훈련 또는 보조 훈련을 수행한다.
• 사전 훈련된 모델을 두 가지 미세조정 전략을 통해 적용한다: 가중치 초기화 및 프로그레시브 네ural 네트워크 스타일의 고정된 컬럼.
• 완전히 협력적인 MARL 설정에서 V-trace 액터-크리틱과 정책 그래디언트 최적화를 사용하며, 다중 에이전트 MDP로 수식화한다.
• 에이전트 중심 어텐션 모듈을 온-폴리시 MARL 알고리즘에 적용하여, 이 설정에서 처음으로 이러한 모듈을 사용한다.
• 에이전트 중심 예측 목표를 비에이전트 중심 '모든 것을 관찰' 기반 대안과 비교하여 에이전트 특화 추론의 기여를 분리한다.

실험 결과

연구 질문

• RQ1 에이전트 중심 표현은 완전히 협력적인 다중 에이전트 강화 학습에서 협업 능력과 일반화 능력을 향상시킬 수 있는가?
• RQ2 에이전트 중심 어텐션 메커니즘은 표준 CNN보다 더 복잡하고 조율된 전략의 유도에 기여하는가?
• RQ3 에이전트 중심 비지도 예측 목표는 행동 레이블이 필요 없이 MARL에서 효과적인 보조 손실 또는 사전 훈련 목표로 기능할 수 있는가?
• RQ4 에이전트 중심 표현 학습이 다중 에이전트 환경에서 샘플 효율성과 정책 변화에 대한 강건성에 어떤 영향을 미치는가?
• RQ5 에이전트 중심 목표로 사전 훈련을 하면 일반화 능력이 향상되는가, 아니면 새로운 상대를 대응하는 데서 모델의 적응 능력이 제한되는가?

주요 결과

• 에이전트 중심 어텐션을 갖춘 ACNN 모델은 20경기 토너먼트에서 ELO 등수 147을 기록하여 CNN 기반 베이스라인(−323 등수)을 크게 앞서며 뛰어난 일반화 능력을 입증했다.
• 보조 예측 손실로 미세조정된 ACNN 에이전트는 ELO 등수 182를 기록하며 공개 GRF 다중 에이전트 리그 랭킹에서 1위를 차지했고, 스코어 1992를 기록했다.
• 에이전트 중심 예측 목표로 사전 훈련한 에이전트는 무작위 초기화에서 미세조정한 에이전트보다 더 잘 일반화되었으며, 이는 표현 학습의 효과성을 보여준다.
• 모든 평가 환경에서 비에이전트 중심 '모든 것을 관찰' 기반 대비 에이전트 중심 예측 목표가 뛰어난 성능을 보여, 에이전트 특화 추론의 중요성을 확인했다.
• 내장된 AI 정책에 대응해 훈련한 에이전트들은 더 강력한 상대를 만났을 때 취약했지만, 자기 자신과의 자율 플레이(AI)로 훈련한 에이전트들은 강력한 일반화 능력을 보이며 공개 랭킹에서 상위권을 차지했다.
• 사전 훈련된 변종과는 달리, 초기 상태에서부터 훈련한 ACNN 모델이 더 나은 일반화 능력을 보였으며, 이는 사전 훈련이 수렴 속도를 높이지만 탐색 능력을 제한할 수 있음을 시사한다.