[논문 리뷰] Emergence of Grounded Compositional Language in Multi-Agent Populations

Igor Mordatch, Pieter Abbeel|arXiv (Cornell University)|2017. 03. 15.

Language and cultural evolution인용 수 213

한 줄 요약

물리적으로 바탕을 둔 환경에서 다중 에이전트 집단 간에 grounded이고 구성적인 언어가 등장할 수 있음을 보여주며, 이는 이산적인 Gumbel-Softmax 커뮤니케이션 채널과 어휘 제어를 이용한 차별화 가능한 다중 에이전트 강화학습으로 엔드투엔드 학습된다.

ABSTRACT

By capturing statistical patterns in large corpora, machine learning has enabled significant advances in natural language processing, including in machine translation, question answering, and sentiment analysis. However, for agents to intelligently interact with humans, simply capturing the statistical patterns is insufficient. In this paper we investigate if, and how, grounded compositional language can emerge as a means to achieve goals in multi-agent populations. Towards this end, we propose a multi-agent learning environment and learning methods that bring about emergence of a basic compositional language. This language is represented as streams of abstract discrete symbols uttered by agents over time, but nonetheless has a coherent structure that possesses a defined vocabulary and syntax. We also observe emergence of non-verbal communication such as pointing and guiding when language communication is unavailable.

연구 동기 및 목표

• 다중 에이전트, 물리적으로 위치한 설정에서 grounded이고 구성적인 언어의 등장를 입증한다.
• 에이전트가 인간 데이터나 미리 정의된 의미 없이도 일관된 어휘와 구문을 개발한다는 것을 보인다.
• 환경의 변화와 어휘 제약이 언어 구조와 조정에 어떤 영향을 미치는지 탐구한다.

제안 방법

• 연속된 2D 공간에서 N개의 에이전트와 M개의 랜드마크를 갖는 협력적 부분 관찰 마르코프 게임을 사용한다.
• 공유 심볼 어휘에서 시간에 따라 방출되는 이산적 기호로 의사소통을 표현한다.
• 미분 가능 다이나믹스를 가지는 시간 역전파를 사용하여 모든 에이전트에 대해 동일한 정책을 엔드투엔드로 학습한다.
• 연속적 샘플링이 가능하도록 Gumbel-Softmax 완화를 적용하여 이산적 의사소통 기호를 미분가능하게 샘플한다.
• 목표를 명확하게 신호하도록 보조 목표 예측 보상을 포함한다.
• 구성성을 촉진하기 위해 Dirichlet Process 기반의 목표를 사용하여 큰 어휘를 처벌하여 구성성을 촉진한다.

실험 결과

연구 질문

• RQ1 인간의 언어 데이터 없이도 물리적 환경에서의 상호작용으로 grounded이고 구성적인 언어가 등장할 수 있는가?
• RQ2 어떤 환경 요인과 어휘 제약이 emergent language의 구성 구조를 촉진하는가?
• RQ3 다양한 인구 규모와 구성에서 emergent language가 조정 전략 및 작업 성공과 어떻게 연결되는가?
• RQ4 의사소통 채널이 제한될 때 언어를 보조하거나 대체하는 비언어적 의사소통 전략은 무엇인가?

주요 결과

• 환경에 의해 형성된 구조로, 랜드마크와 행동에 매핑되는 구성적이고 해석 가능한 심볼 어휘가 등장한다.
• 어휘 크기 페널티와 다양한 작업 구성은 구성적 언어의 등장으로 이어지며 비구성적 전체 언어가 아니라는 것을 촉진한다.
• 에이전트는 의사소통이 있을 때 더 높은 작업 보상을 얻으며, 의사소통 없이보다 크게 향상된다(학습: -0.919 vs -0.332; 테스트: -0.920 vs -0.392).
• emergent language는 물리학에 기반을 두고 있으며, 발화가 종종 행동에 앞서 나타난다(예: GOTO 발화가 이동 전에 나옴).
• 언어가 없을 때도 비언어적 전략(지시하기, 시선 기반 신호, 심지어 밀치기)이 나타나 다중 모달 조정을 보여준다.
• 다른 수의 랜드마크나 에이전트와 같은 보이지 않는 구성에서도 구성적 개념을 재활용하여 시스템이 일반화한다.