[논문 리뷰] Variational Autoencoders for Opponent Modeling in Multi-Agent Systems

Georgios Papoudakis, Stefano V. Albrecht|arXiv (Cornell University)|2020. 01. 29.

Reinforcement Learning in Robotics참고 문헌 30인용 수 5

한 줄 요약

이 논문은 실행 중 상대방의 내부 상태에 접근할 필요 없이 국소적 관찰, 행동, 보상만을 사용하여 효과적인 상대방 표현을 학습하는 새로운 변분 오토인코더(VAE)-기반 상대방 모델링 방법인 SMA2C를 제안한다. 기존의 전체 상대방 경로 접근이 필요한 기준 방법들과 비교해도 비슷하거나 높은 에피소드 수익을 달성함으로써, 최소한의 외부 정보로도 강력한 상대방 모델링이 가능하다는 것을 입증한다.

ABSTRACT

Multi-agent systems exhibit complex behaviors that emanate from the interactions of multiple agents in a shared environment. In this work, we are interested in controlling one agent in a multi-agent system and successfully learn to interact with the other agents that have fixed policies. Modeling the behavior of other agents (opponents) is essential in understanding the interactions of the agents in the system. By taking advantage of recent advances in unsupervised learning, we propose modeling opponents using variational autoencoders. Additionally, many existing methods in the literature assume that the opponent models have access to opponent's observations and actions during both training and execution. To eliminate this assumption, we propose a modification that attempts to identify the underlying opponent model using only local information of our agent, such as its observations, actions, and rewards. The experiments indicate that our opponent modeling methods achieve equal or greater episodic returns in reinforcement learning tasks against another modeling method.

연구 동기 및 목표

• 실행 중 상대방의 관찰 및 행동에 접근이 필요로 하는 기존 상대방 모델링 방법의 한계를 해결하기 위해.
• 다중 에이전트 환경에서 미리 보지 않은 상대방으로 일반화할 수 있는 강화학습 에이전트를 개발하기 위해.
• 에이전트의 자체 경험에서만 국소 정보를 사용하여 효과적인 상대방 모델링이 가능할지 조사하기 위해.
• 구분 목적함수(discrimination objective)가 임베딩 품질과 후속 강화학습 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 학습 및 추론에 전체 상대방 경로(관찰, 행동)를 사용하는 VAE 기반 상대방 모델인 OMDDPG를 제안한다.
• 에이전트의 자체 관찰, 행동, 보상, 종료 신호에만 조건을 걸어 상대방 행동을 추론하는 수정된 VAE 아키텍처인 SMA2C를 도입한다.
• 재생성 기법을 사용한 변분 추론 프레임워크를 통해 확률적 경사 하강법을 사용해 VAE를 엔드 투 엔드로 훈련시킨다.
• Grover 등(2018a)의 영감을 얻어, 서로 다른 상대방의 표현을 분리되고 군집 가능하도록 유도하는 대비 손실(contrastive loss, discrimination objective)을 통합한다.
• 학습된 표현과 상대방 정체성 간의 통계적 종속성을 평가하기 위해 상호정보량 신경추정(MINE)을 사용한다.
• 멀티에이전트 파article 환경(MPE)과 토이 조율 과제에서 모델을 훈련 및 평가하며, 약한 및 강한 일반화 설정 하에서 에피소드 수익을 측정한다.

실험 결과

연구 질문

• RQ1 실행 중 상대방의 내부 상태(예: 관찰, 행동)에 접근할 수 없을 때도 상대방 모델링이 효과적으로 작동할 수 있는가?
• RQ2 전체 상대방 경로를 사용하는 것과 비교해 국소적 에이전트 데이터로 훈련된 상대방 모델의 성능은 어떻게 되는가?
• RQ3 구분 목적함수가 학습된 상대방 표현의 품질과 후속 RL 성능에 기여하는 정도는 어떠한가?
• RQ4 다양한 입력 구성 요소(예: 보상, 종료 신호)가 일반화 조건에서 상대방 모델의 강건성에 미치는 영향은 어떠한가?
• RQ5 표현 간 상호정보량과 실제 RL 과제에서의 에피소드 수익 간 상관관계가 존재하는가?

주요 결과

• SMA2C는 추론 시 상대방의 관찰이나 행동을 사용하지 않음에도 불구하고, OMDDPG 및 Grover 등(2018a)의 방법과 비슷하거나 높은 에피소드 수익을 달성한다.
• 구분 목적함수가 말하기-듣기 및 더블 말하기-듣기 환경에서 성능 향상에 크게 기여하며, 특히 강한 일반화 조건에서 두드러진다.
• 보상과 종료 신호를 포함하지 않은 SMA2C는 약한 일반화 조건에서는 전체 모델과 유사한 성능를 보이나, 복잡한 환경에서 강한 일반화 조건에서는 성능이 저하된다.
• SMA2C에서 관찰과 행동만을 사용할 경우 대부분의 환경에서 전체 모델과 유사한 성능를 보이며, 포식자-피식자 환경에서는 성능 저하가 발생한다.
• 구분 목적함수를 포함한 모델에서는 표현과 상대방 정체성 간 상호정보량이 높지만, 이는 항상 더 좋은 RL 수익으로 이어지는 것은 아니다.
• 결과적으로, 효과적인 상대방 모델링은 상대방의 전체 경험에 접근할 필요 없이 국소적 에이전트 경험만으로도 가능함을 입증하며, 전체 상대방 경로 접근이 필수적이라는 가정을 도전한다.