[논문 리뷰] Learning Policy Representations in Multiagent Systems

Aditya Grover, Maruan Al-Shedivat외 3명|arXiv (Cornell University)|2018. 06. 17.

Reinforcement Learning in Robotics참고 문헌 19인용 수 43

한 줄 요약

적은 상호작용으로 연속 정책 임베딩을 학습하기 위한 비지도 인코더-디코더 프레임워크를 제안하여, 경쟁적이고 협력적인 MAS 모두에서 클러스터링, 결과 예측, 정책 최적화와 같은 하류 작업을 가능하게 한다.

ABSTRACT

Modeling agent behavior is central to understanding the emergence of complex phenomena in multiagent systems. Prior work in agent modeling has largely been task-specific and driven by hand-engineering domain-specific prior knowledge. We propose a general learning framework for modeling agent behavior in any multiagent system using only a handful of interaction data. Our framework casts agent modeling as a representation learning problem. Consequently, we construct a novel objective inspired by imitation learning and agent identification and design an algorithm for unsupervised learning of representations of agent policies. We demonstrate empirically the utility of the proposed framework in (i) a challenging high-dimensional competitive environment for continuous control and (ii) a cooperative environment for communication, on supervised predictive tasks, unsupervised clustering, and policy optimization using deep reinforcement learning.

연구 동기 및 목표

• 다중 에이전트 시스템에서 제한된 상호작용 데이터로 에이전트 정책의 일반화 가능한 표현 학습 동기를 부여한다.
• 에이전트 상호작용 에피소드를 임베딩하는 인코더-디코더 프레임워크를 개발한다.
• 생성적(모방학습) 및 판별적(에이전트 식별) 목적을 결합하여 유용한 정책 표현을 학습한다.
• 임베딩이 클러스터링, 결과 예측, 정책 최적화 등 하류 작업을 경쟁적 및 협력적 MAS 모두에서 개선하는 것을 시연한다.
• 보이지 않는 에이전트와 상호작용 간의 일반화 프레임워크를 에이전트-상호작용 그래프를 사용하여 제공한다.

제안 방법

• 상호작용 에피소드를 임베딩으로 매핑하는 표현 함수 f_theta: E -> R^d를 정의한다.
• 임베딩을 사용하여 행동을 선택하는 조건부 정책 네트워크 pi_{phi,theta}를 학습하고 모방 유사 교차엔트로피 손실을 최적화한다.
• 에이전트 특이적 임베딩 클러스터링을 촉진하기 위해 임베딩에 삼중항 기반 판별 손실을 도입한다.
• 모방 기반 생성 손실과 삼중항 기반 판별 손실을 하이브리드 목적 함수로 결합한다: Im_loss + lambda * Id_loss (식 3).
• 업데이트당 두 개의 서로 다른 에피소드(e1, e2)를 사용하여 한 에피소드의 정책을 다른 에피소드의 임베딩으로 조건화하는 임베딩을 학습한다.
• 임베딩의 클러스터링, 결과 예측, 정책 최적화에 대한 유용성을 평가하기 위해 RoboSumo(경쟁)와 ParticleWorld(협력적 의사소통)에서 실험을 수행한다.
• 보이지 않는 에이전트, 상호작용 및 과제 전반에서의 약한/강한/일반화를 연구하기 위해 에이전트-상호작용 그래프로 일반화를 표현한다.

실험 결과

연구 질문

• RQ1 MAS에서 제한된 상호작용에서 학습된 비지도 임베딩이 보이지 않는 에이전트와 상호작용으로 일반화될 수 있는가?
• RQ2 생성적(모방) 및 판별적(에이전트 식별) 목표가 더 유용한 정책 표현을 만들어내는 데 보완적인가?
• RQ3 학습된 임베딩이 클러스터링, 결과 예측, 새로운 상대 혹은 청취자를 위한 정책 학습 개선과 같은 하류 작업에 효과적인가?
• RQ4 경쟁적 및 협력적 MAS 설정에서 임베딩으로 조건화된 정책이 더 빨리 적응하고 일반화가 더 잘 되는가?

주요 결과

환경	방법	IICR (W)	IICR (S)	정확도 (W)	정확도 (S)
RoboSumo	Emb-Im	0.24	0.23	0.71	0.60
RoboSumo	Emb-Id	0.25	0.27	0.67	0.56
RoboSumo	Emb-Hyb	0.22	0.21	0.73	0.56

• Emb-Hyb(하이브리드 Im+Id)는 RoboSumo에서 Im 또는 Id만 사용할 때보다 일반적으로 더 나은 클러스터링 신호(클러스터 간 내의 분산 비율이 더 낮음) 및 경쟁적 결과 예측을 제공합니다.
• 임베딩은 정책 최적화를 개선시키며, Emb-Hyb가 PPO 기반 학습 중 보지 못한 상대에게 더 잘 일반화하는 것으로 나타났습니다.
• ParticleWorld에서 임베딩은 발화자-청취자 협응을 개선하고 오프라인 임베딩을 사용할 때 평균 보상을 향상시킵니다.
• 온라인으로 학습된 임베딩은 기준선보다 우수할 수 있지만, 정책 최적화 태스크에서 오프라인 임베딩이 일반화에 더 강한 경향이 있습니다.
• 프레임워크는 임베딩 공간에서 에이전트 정책의 질적 분리를 강하게 보여주며, 에피소드 간에 에이전트 특유의 구조를 드러냅니다.