[논문 리뷰] Relational Forward Models for Multi-Agent Learning

Andrea Tacchetti, Hui Song외 6명|arXiv (Cornell University)|2018. 09. 28.

Neural Networks and Applications인용 수 26

한 줄 요약

이 논문은 관계 기반 정방향 모델(Relational Forward Models, RFM)을 제안한다. RFM는 엔티티와 그 상호작용을 모델링함으로써 다중 에이전트 시스템의 동역학을 예측하는 그래프 네트워크 기반 방법이다. RFM 모듈을 에이전트에 통합함으로써 중앙집중식 제어 없이도 더 빠른 협력 학습을 가능하게 하여, Stag Hunt 및 협동 주행과 같은 다중 에이전트 환경에서 최대 2배의 샘플 효율성을 달성한다.

ABSTRACT

The behavioral dynamics of multi-agent systems have a rich and orderly structure, which can be leveraged to understand these systems, and to improve how artificial agents learn to operate in them. Here we introduce Relational Forward Models (RFM) for multi-agent learning, networks that can learn to make accurate predictions of agents' future behavior in multi-agent environments. Because these models operate on the discrete entities and relations present in the environment, they produce interpretable intermediate representations which offer insights into what drives agents' behavior, and what events mediate the intensity and valence of social interactions. Furthermore, we show that embedding RFM modules inside agents results in faster learning systems compared to non-augmented baselines. As more and more of the autonomous systems we develop and interact with become multi-agent in nature, developing richer analysis tools for characterizing how and why agents make decisions is increasingly necessary. Moreover, developing artificial agents that quickly and safely learn to coordinate with one another, and with humans in shared environments, is crucial.

연구 동기 및 목표

• 중앙집중식 제어기나 파rameter 공유 없이 다중 에이전트 강화학습(MARL)에서 협력 행동을 촉진하는 데 도전 과제를 해결한다.
• 에이전트의 행동을 이끄는 요인과 다중 에이전트 시스템에서 사회적 상호작용이 어떻게 발생하는지 이해하기 위한 해석 가능한 분석 도구를 개발한다.
• 팀원의 향후 행동에 대한 내부 모델을 강화함으로써 MARL의 샘플 효율성을 향상시킨다.
• 에이전트가 훈련 중에 팀원의 행동 예측을 활용해 협력 계획을 수립할 수 있도록 차량 내 RFM 모듈을 통합함으로써 협력 학습 속도를 높인다.
• 오직 궤적 데이터만을 사용하여 인간 및 인공 에이전트가 포함된 시스템의 행동 역학을 분석하기 위한 확장 가능하고 침습성이 없는 방법을 제공한다.

제안 방법

• 시간적 동역학을 관계 그래프에서 모델링하기 위해 그래프 신경망(GNN) 인코더, 그래프 게이팅 순환단위(GRU), GNN 디코더로 구성된 스택으로 RFM을 구축한다.
• 노드를 에이전트와 물체로, 간선을 엔티티 간 관계(예: 근접도, 방향성 등)로 표현하는 이질적 그래프로 환경를 표현한다.
• 현재 상태 표현을 기반으로 다른 에이전트의 향후 행동을 예측하기 위해 교차 엔트로피 손실을 사용해 RFM 모듈을 엔드 투 엔드로 훈련시킨다.
• 학습 에이전트의 관측 스트림을 개선하기 위해 예측된 행동 로짓을 이미지 평면 표현으로 변환하고, 이를 자기 중심 관측과 연결한다.
• 각 에이전트의 정책 네트워크에 직접 RFM 모듈을 통합하여, 훈련 중에 예측된 팀원 행동을 활용한 계획 수립을 가능하게 한다.
• 에이전트 간에 파arameter 공유나 기울기 누출 없이 RFM와 정책을 함께 훈련함으로써 탈중앙화된 학습을 보장한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 환경에서 관계 기반 정방향 모델이 다른 에이전트의 향후 행동을 정확하게 예측할 수 있는가?
• RQ2 RFM의 중간 표현이 에이전트 행동의 원인과 사회적 상호작용 역학의 메커니즘을 이해하는 데 이해 가능한 통찰을 제공하는가?
• RQ3 에이전트 내부에 RFM 모듈을 통합하면, 비증강 기반 대비 협력 행동을 더 빨리 학습하는가?
• RQ4 RFM 기반 에이전트는 명시적 의사소통 없이도 관측된 행동으로부터 팀원의 선호도와 의도를 추론할 수 있는가?
• RQ5 RFM 접근법은 다양한 다중 에이전트 환경과 에이전트 수의 변화에 대해 확장 가능하고 효과적인가?

주요 결과

• RFM 모델은 Stag Hunt, 협동 주행, 동전 게임과 같은 다중 에이전트 환경에서 기존 방법보다 우수한 정확도를 달성하며 정방향 동역학 예측 작업에서 슈퍼리어 성능을 보였다.
• RFM의 중간 표현은 어떤 엔티티와 관계가 에이전트 행동에 영향을 주며, 사회적 상호작용의 성격과 강도를 중개하는지를 이해할 수 있는 해석 가능한 통찰을 제공한다.
• RFM 증강 에이전트는 비증강 기반 대비 협력 행동을 훨씬 더 빨리 학습했으며, Stag Hunt에서 약 60만 스텝 만에 보상 25를 달성한 데 반해, 기반 에이전트는 약 100만 스텝이 소요되었다.
• 4명의 플레이어가 있는 Stag Hunt 변형에서는 RFM 증강 에이전트가 약 50만 스텝 만에 동일한 성능 기준에 도달했고, 기반 에이전트는 약 100만 스텝이 소요되어 확장성이 입증되었다.
• Coin Game에서는 RFM 증강 에이전트가 팀원의 행동으로부터 음성 동전 색상을 더 효율적으로 추론하는 것으로 나타나 의도 인식 능력 향상이 확인되었다.
• 차량 내 RFM 모듈은 의사소통, 파arameter 공유, 중앙집중식 제어기를 요구하지 않음에도 불구하고 더 빠른 학습을 가능하게 하여, 팀원에 대한 내부 모델링이 협력 속도를 가속화시킬 수 있음을 시사한다.