[논문 리뷰] Emergent Multi-Agent Communication in the Deep Learning Era

Angeliki Lazaridou, Marco Baroni|arXiv (Cornell University)|2020. 06. 03.

Language and cultural evolution참고 문헌 107인용 수 32

한 줄 요약

이 논문은 협력적 및 경쟁적 설정에서 딥러닝 에이전트가 출현하는 의사소통을 어떻게 개발하는지 조사하고, 이러한 언어를 연구하고 해석하는 방법을 분석하며, AI 조정 및 인간-기계 상호작용을 개선할 수 있는 방법을 논의합니다.

ABSTRACT

The ability to cooperate through language is a defining feature of humans. As the perceptual, motory and planning capabilities of deep artificial networks increase, researchers are studying whether they also can develop a shared language to interact. From a scientific perspective, understanding the conditions under which language evolves in communities of deep agents and its emergent features can shed light on human language evolution. From an applied perspective, endowing deep networks with the ability to solve problems interactively by communicating with each other and with us should make them more flexible and useful in everyday life. This article surveys representative recent language emergence studies from both of these two angles.

연구 동기 및 목표

• 언어 출현 연구를 인간 언어의 진화 이해와 유연하고 상호작용 가능한 AI를 창출하는 수단으로 삼고자 한다.
• 단순한 지시 게임에서 심층 에이전트가 지각적으로 풍부한 환경으로의 진행을 검토한다.
• 출현 프로토콜 해독 및 진정한 의사소통 평가를 위한 분석 방법을 논의한다.
• 출현 의사소통이 에이전트 간 조정 개선 및 인간–기계 상호작용 가능성을 어떻게 높일 수 있는지 탐구한다.

제안 방법

• 학습 및 역전파에 대한 연속적 커뮤니케이션과 이산적 커뮤니케이션의 차이점 및 함의를 설명한다.
• 지시 게임, 다중 턴 상호작용, 구현된 3D 환경을 사용하는 대표 연구를 요약한다.
• 의사 신호, 청취 및 인과적 영향에 대한 분석 지표를 검토하여 진정한 의사소통을 확립한다.
• 구성성의 측정과 그것이 표현의 일반화 및 분리화와의 관계를 논의한다.
• 감독 학습 기반의 접지, 반복 학습, 사전 학습 모델을 통해 emergent 언어를 자연어와 일치시키는 방법을 제시한다.

실험 결과

연구 질문

• RQ1 깊은 에이전트 공동체가 실질적인 정보 내용을 가진 의사소통 프로토콜을 개발하는 조건은 무엇인가?
• RQ2 emergent languages에서 진정한 의사소통과 악화된 전략을 어떻게 정량화하고 검증할 수 있는가?
• RQ3 emergent 프로토콜에서 구성성과 일반화를 촉진하는 요인은 무엇인가?
• RQ4 emergent 의사소통을 활용해 에이전트 간 조정 및 인간–기계 협업을 어떻게 개선할 수 있는가?

주요 결과

• 출현하는 언어는 종종 이산적인 병목에 의존하며 인간과 유사한 의미론과 다를 수 있어, 의미 있는 의사소통을 확인하기 위해 신중한 분석이 필요하다.
• 연속적 커뮤니케이션은 일반적으로 조정을 향상시키는 반면, 이산 채널은 특수한 학습 없이는 복잡한 환경에서 어려움을 겪을 수 있다.
• 출현 언어의 구성성은 보장되지 않으며 특정 편향, 표현, 커뮤니티 역학에서만 나타날 수 있다.
• 인간–기계 상호작용은 출현 언어를 자연어 또는 감독으로 접지시키면 언어 표류를 줄이고 해석성을 향상시킨다.
• 에이전트 간 조정과 실용적 편향은 사회적 또는 협력적 인센티브를 도입하고 접지된 의사소통 목표를 확보함으로써 강화될 수 있다.
• 자연어 기반의 쉬운 대화를 사용하는 인간이 기계와 상호작용할 때, 비언어적 의사소통에 비해 조정이 향상된다.