[논문 리뷰] Compositional Languages Emerge in a Neural Iterated Learning Model

Yi Ren, Shangmin Guo외 3명|arXiv (Cornell University)|2020. 02. 04.

Language and cultural evolution참고 문헌 24인용 수 34

한 줄 요약

논문은 높은 위상학적 유사도 rho를 가진 언어가 신경 에이전트의 참조 게임에서 나타난다는 신경 반복 학습(NIL) 알고리즘을 제시하고, 일반화 및 학습 속도 향상을 보여주며, NIL의 확률 분석을 제공합니다.

ABSTRACT

The principle of compositionality, which enables natural language to represent complex concepts via a structured combination of simpler ones, allows us to convey an open-ended set of messages using a limited vocabulary. If compositionality is indeed a natural property of language, we may expect it to appear in communication protocols that are created by neural agents in language games. In this paper, we propose an effective neural iterated learning (NIL) algorithm that, when applied to interacting neural agents, facilitates the emergence of a more structured type of language. Indeed, these languages provide learning speed advantages to neural agents during training, which can be incrementally amplified via NIL. We provide a probabilistic model of NIL and an explanation of why the advantage of compositional language exist. Our experiments confirm our analysis, and also demonstrate that the emerged languages largely improve the generalizing power of the neural agent communication.

연구 동기 및 목표

• 신경 에이전트 간 의사소통에서 높은 위상학적 유사도(rho)를 갖는 언어가 등장하는지 조사합니다.
• 말하기와 듣기 에이전트를 위한 구성적 언어의 학습 속도 이점을 정량화합니다.
• 세대를 거치며 구성적 언어를 증폭하기 위해 NIL (neural iterated learning)을 개발합니다.
• NIL 메커니즘과 강건성을 설명하는 확률적 프레임워크를 제공합니다.

제안 방법

• MLP와 LSTM을 사용하여 말하기(Alice)와 듣기(Bob) 신경 에이전트 간의 참조 게임을 모델링합니다.
• 메시지를 어휘에서 고정 길이 이산 시퀀스로 정의하고, 객체는 원-핫 속성 벡터로 인코딩합니다.
• REINFORCE와 엔트로피 정규화를 사용하여 학습합니다; Alice와 Bob의 기울기 표현식을 제공합니다(식 (1) 및 (2)).
• 객체 공간 거리와 메시지 공간 거리 사이의 위상적 유사도 rho를 통해 구성성을 측정합니다(X의 음의 코사인, M의 Levenshtein).
• 높은 rho 언어를 선택적으로 강화하기 위해 I 세대에 걸친 세 단계 NIL 알고리즘(Learning, Interacting, Transmitting)을 제안합니다.

실험 결과

연구 질문

• RQ1 높은 rho 언어가 신경 화자와 청자의 학습 속도 이점을 제공합니까?
• RQ2 NIL이 구성적 언어의 등장과 신경 에이전트의 일반화를 향상시킬 수 있습니까?
• RQ3 사전 학습 및 세대 재설정이 rho를 더 높은 값으로 이끄는 데 어떤 역할을 합니까?
• RQ4 rho와 보류된 항목에 대한 검증 성능 사이에 어떤 상관관계가 있습니까?

주요 결과

• 높은 rho 언어는 참조 게임에서 Alice와 Bob 모두의 학습 속도 이점을 제공합니다.
• NIL은 세대를 거치며 나타난 언어와 의미 공간 사이의 위상적 유사성을 증가시킵니다.
• 반복 학습 절차는 rho를 더 높이고 재설정이 없는 학습보다 더 나은 검증 성능을 보이며 설정에 대해 강건합니다.
• rho와 검증 성능 사이에 강한 양의 상관관계가 있습니다(상관계수 = 0.928, p = 3.8e-104).
• rho 증가 및 작업 성능을 최대화하는 사전 학습 라운드의 최적 간격이 존재합니다(I_a 및 I_b).