[논문 리뷰] Multi-Agent Cooperation and the Emergence of (Natural) Language

Angeliki Lazaridou, Alexander Peysakhovich외 1명|arXiv (Cornell University)|2016. 12. 21.

Language and cultural evolution인용 수 122

한 줄 요약

이 논문은 두 신경 에이전트가 고정 어휘를 사용하는 참조 게임에서 통신을 학습하는 방법을 연구하고, emergent 기호가 인간이 이해할 수 있는 의미와 일치하는지, 감독된 언어 작업으로 grounding이 가능한지 평가합니다.

ABSTRACT

The current mainstream approach to train natural language systems is to expose them to large amounts of text. This passive learning is problematic if we are interested in developing interactive machines, such as conversational agents. We propose a framework for language learning that relies on multi-agent communication. We study this learning in the context of referential games. In these games, a sender and a receiver see a pair of images. The sender is told one of them is the target and is allowed to send a message from a fixed, arbitrary vocabulary to the receiver. The receiver must rely on this message to identify the target. Thus, the agents develop their own language interactively out of the need to communicate. We show that two networks with simple configurations are able to learn to coordinate in the referential game. We further explore how to make changes to the game environment to cause the "word meanings" induced in the game to better reflect intuitive semantic properties of the images. In addition, we present a simple strategy for grounding the agents' code into natural language. Both of these are necessary steps towards developing machines that are able to communicate with humans productively.

연구 동기 및 목표

• 다중 에이전트 협응을 통한 언어 학습 동기를 부여하고 수동적 텍스트 노출을 지양합니다.
• tabula rasa 에이전트가 참조 작업에서 협응할 수 있는 의사소통 프로토콜을 개발할 수 있음을 보입니다.
• emergent 기호가 낮은 수준의 시각적 특징이 아니라 높은 수준의 의미 속성을 반영하는지 조사합니다.
• 게임 구조를 바꾸면 emergent 언어의 의미 정합성에 어떤 영향을 주는지 examining합니다.
• 감독 학습 라벨링 작업을 통해 emergent 의사소통의 grounding을 자연어로 확장합니다.

제안 방법

• 두 개의 간단한 전방향 신경망(송신자와 수신자)이 두 이미지와 고정 어휘를 사용하는 참조 게임을 합니다.
• 송신자는 임베딩 공간을 사용하여 대상/혼동 입력을 고정 어휘의 기호로 매핑하고 무관하거나 정보가 있는 아키텍처 중 하나를 사용합니다.
• 수신자는 기호와 이미지 임베딩을 사용하여 점-곱 유사도를 통해 대상을 추론하고 확률적 선택을 생성합니다.
• 통신 병목은 기호에 대한 Gibbs 분포에서 샘플링하여 메시지를 이산화합니다(온도 tau).
• 훈련은 보상 1(정답 대상 식별 시)과 0(그 외)인 강화학습(REINFORCE)을 사용하며, 50k 반복 동안 미니배치 업데이트(32)합니다.

실험 결과

연구 질문

• RQ1 제안된 설정에서 tabula rasa 에이전트가 성공적인 참조 커뮤니케이션을 학습할 수 있는가?
• RQ2 emergent 기호가 인간 언어와 유사한 교차 이미지 의미 속성을 획득하는가?
• RQ3 시각 입력이나 공지 지식(content of common knowledge)을 바꿨을 때 고수준 의미 grounding이 촉진되는가?
• RQ4 감독된 언어 작업을 통한 grounding이 emergent 기호를 기존 이름과 정렬시키는가?
• RQ5 사람은 에이전트가 생산한 emergent 언어를 grounding 되었을 때 얼마나 잘 해석하는가?

주요 결과

• 에이전트는 높은 의사소통 성공도로 수렴하며, 정보가 있는 송신자는 일반적으로 무관 송신자보다 학습 속도가 빠릅니다.
• emergent 언어는 정보가 있는 송신자에서 더 많은 기호를 사용하여 단순 동의어화가 아니라 더 풍부한 코딩을 시사합니다.
• 기호-대상 연결의 순도는 우연보다 높아 객체 범주에 대한 반-semantic grounding을 나타냅니다.
• 공통 지식이 축소된 경우에도 에이전트는 조정(coordination)을 유지하고 의미적 순도의 약간의 증가를 보입니다.
• 감독 라벨링을 통한 grounding은 기호 사용을 확장하고 해석 가능성을 높이며, 일부 기호는 감독 라벨에 직접 매핑되고 비감독 이미지로의 일반화도 확장됩니다.
• 사람 평가에서 대상 이미지에 단어를 매칭하는 정확도가 68%로 나타나 emergent 언어의 부분적 인간 해석 가능성을 시사합니다.