[논문 리뷰] Learning to Ground Multi-Agent Communication with Autoencoders

Toru Lin, Minyoung Huh외 3명|arXiv (Cornell University)|2021. 10. 28.

Speech and dialogue systems인용 수 16

한 줄 요약

이 논문은 자동에코딩을 통해 학습된 시각적 표현에 기반한 통신을 통해 분산형 다중 에이전트 강화 학습 프레임워크를 제안한다. 이로 인해 에이전트들은 감독 없이도 공통의 해석 가능한 언어를 개발할 수 있다. 관측값을 자동에코더를 통해 재구성하도록 훈련시킴으로써 통신 내재적 정렬을 유도함으로써 다양한 작업에서 협업 능력을 크게 향상시켰으며, FindGoal, RedBlueDoors 등에서 기존의 기준선 대비 평균 보상이 최대 2.5배 높아졌다.

ABSTRACT

Communication requires having a common language, a lingua franca, between agents. This language could emerge via a consensus process, but it may require many generations of trial and error. Alternatively, the lingua franca can be given by the environment, where agents ground their language in representations of the observed world. We demonstrate a simple way to ground language in learned representations, which facilitates decentralized multi-agent communication and coordination. We find that a standard representation learning algorithm -- autoencoding -- is sufficient for arriving at a grounded common language. When agents broadcast these representations, they learn to understand and respond to each other's utterances and achieve surprisingly strong task performance across a variety of multi-agent communication environments.

연구 동기 및 목표

• 분산형 다중 에이전트 강화 학습에서 에이전트들이 공통의 언어를 갖추지 못하고 희박한 보상과 높은 변동성을 겪는 문제를 해결하기 위해.
• 통신 기호의 기반 없음으로 인해 제로샷 설정에서 일관된 프로토콜의 출현이 저해되는 문제를 해결하기 위해.
• 자기에코딩을 통한 표현 학습이 환경에 기반한 통신의 기반을 다지는 보편적이고 감독 없는 메커니즘으로 기능할 수 있는지 조사하기 위해.
• 간단한 자기에코딩 목표 함수가 완전히 분산된 다중 에이전트 강화 학습 환경에서 긍정적 신호 전달과 협업을 유도할 수 있는지 입증하기 위해.
• 기울기 가능 통신이나 공통된 정책 파rameter를 필요로 하지 않는 확장 가능하고 아키텍처에 종속되지 않는 통신 기반 프레임워크를 제공하기 위해.

제안 방법

• 에이전트들은 환경 기반 강화 학습과 관측값에 대한 자기에코딩 목표를 조합한 다중 작업 손실을 사용하여 훈련된다.
• 각 에이전트는 공유 인코더 아키텍처를 사용하여 자신의 관측값을 재구성하는 데 학습하며, 이로 인해 에이전트 간에 공통된 표현 공간이 형성된다.
• 자기에코딩 손실은 에이전트의 내부 표현을 정렬하는 감독 신호 역할을 하며, 이로 인해 에이전트들이 서로의 메시지를 해석할 수 있게 된다.
• 통신은 기울기 가능하지 않은 이산 메시지 브로드캐스트 방식으로 구현되며, 이는 분산된 정책 최적화를 가능하게 한다.
• 이 프레임워크는 FindGoal, RedBlueDoors, CoinGame와 같은 여러 다중 에이전트 강화 학습 환경에 적용되었으며, 아키텍처나 작업에 특화된 수정 없이도 적용되었다.
• 정책 엔트로피와 보상 곡선을 사용하여 협업 행동의 출현과 통신이 불확실성을 줄이는 데서 수행하는 역할을 분석하였다.

실험 결과

연구 질문

• RQ1 간단한 자기에코딩 목표 함수가 분산형 다중 에이전트 시스템에서의 잠재적 통신을 위한 보편적인 기반 메커니즘으로 기능할 수 있는가?
• RQ2 공통된 표현에 기반한 통신 기반을 마련하면 제로샷, 기울기 가능하지 않은 통신 환경에서 협업 능력과 작업 성능이 향상되는가?
• RQ3 표본 효율성과 최종 성능 측면에서 자기에코딩 기반의 통신 프레임워크는 감독, 중앙 집중식, 기울기 가능 통신 기준선과 비교해 어떻게 다른가?
• RQ4 자기에코더에 의해 유도된 표현 학습이 무작위 노이즈가 아니라 긍정적 신호 전달(즉, 행동에 영향을 주는 메시지)을 촉진하는 정도는 어느 정도인가?
• RQ5 이 방법은 아키텍처나 작업에 특화된 적응 없이 다양한 다중 에이전트 협업 작업에 일반화될 수 있는가?

주요 결과

• 제안된 자기에코딩 기반의 통신 프레임워크는 FindGoal과 RedBlueDoors에서 감독, 중앙 집중식, 기울기 가능 통신 기준선을 크게 능가하여 최대 2.5배 높은 평균 보상을 달성하였다.
• ae-comm 에이전트에서 정책 엔트로피는 시간이 지남에 따라 감소하여 불확실성이 줄어들고 행동이 더 일관성이 있게 되었으며, 특히 통신이 있는 경우 두드러졌다.
• 통신 채널을 추가함으로써 평균 보상이 크게 증가하였으며, 이는 효과적인 긍정적 신호 전달을 보여주었고, 특히 ae-comm 에이전트에서 두드러졌다.
• 자기에코딩을 통해 훈련된 에이전트들은 공통된 정책 파rameter나 기울기 가능 그래디언트 없이도 이해 가능하고 협업에 유용한 표현을 브로드캐스트하는 법을 학습하였다.
• 이 방법은 이전에는 통신 없이 거의 해결이 어려운 것으로 여겨졌던 작업에서도 뛰어난 성능을 발휘하였으며, 잠재적 언어에서 시각적 기반의 중요성을 강조하였다.
• 프레임워크는 다양한 환경에서 뛰어난 강건성을 보였으며, 입력 구조나 작업 유형에 대한 가정이 필요로 하지 않아 광범위한 적용 가능성을 입증하였다.