[논문 리뷰] The Emergence of Compositional Languages for Numeric Concepts Through Iterated Learning in Neural Agents

Shangmin Guo, Yi Ren외 4명|arXiv (Cornell University)|2019. 10. 11.

Language and cultural evolution참고 문헌 18인용 수 17

한 줄 요약

이 논문은 심층 신경망 에이전트에서 반복 학습을 통해 수치 개념을 위한 조합적 언어가 유도될 수 있음을 보여주지만, 청취자가 더 빨리 학습할 수 있도록 해주는 입력 표현(예: 연결된 one-hot 벡터 또는 물체 수의 이미지)이 존재할 때에만 가능하다. 조합적 언어는 유의미한 학습 용이성에 의해 유도되며, 이는 조합적 언어가 전체적 대안보다 더 학습 용이할 때에만 지배적이 된다. 이는 학습 용이성이 기초적으로 조합적 언어의 구조를 이끄는 핵심 요소임을 시사한다.

ABSTRACT

Since first introduced, computer simulation has been an increasingly important tool in evolutionary linguistics. Recently, with the development of deep learning techniques, research in grounded language learning has also started to focus on facilitating the emergence of compositional languages without pre-defined elementary linguistic knowledge. In this work, we explore the emergence of compositional languages for numeric concepts in multi-agent communication systems. We demonstrate that compositional language for encoding numeric concepts can emerge through iterated learning in populations of deep neural network agents. However, language properties greatly depend on the input representations given to agents. We found that compositional languages only emerge if they require less iterations to be fully learnt than other non-degenerate languages for agents on a given input representation.

연구 동기 및 목표

• 사전에 정의된 언어적 요소 없이 다중 에이전트 통신 시스템에서 수치 개념을 위한 조합적 언어가 유도되는지 조사하기.
• 입력 표현(연결, 이미지, 또는 벡터의 집합)이 반복 학습을 통해 조합적 언어의 유도에 어떤 영향을 미치는지 검토하기.
• 특히 청취자가 언어를 숙달하기 위해 필요한 학습 반복 횟수로 측정되는 학습 용이성이 조합적 언어의 구조 형성에 결정적인 요소인지 확인하기.
• 반복 학습 환경에서 표현력과 학습 용이성 간의 상충 관계가 조합성의 기원이 되는지 가설 검증하기.

제안 방법

• 말하는 이가 특정 수의 두 종류의 물체(A와 B)가 담긴 봉투를 관찰하고 메시지를 생성하고, 듣는 이가 15개의 후보 중 정확한 봉투를 선택하는 참조 게임 'Bag-Select'를 설계.
• 세 가지 다른 입력 표현 방식을 사용: (1) one-hot 벡터의 연결(예: '2A3B' → [001000; 000100]), (2) 다양한 수의 물체를 포함한 장면의 이미지, (3) 수량을 나타내는 one-hot 벡터의 집합.
• 다른 신경망 인코더를 적용: 연결된 입력에는 다층 퍼셉트론(MLP)을, 이미지 입력에는 LeNet-5 스타일의 CNN을, 벡터 집합 입력에는 시그모이드 활성화를 갖는 세트 인코더를 사용하여 순열 불변성 유지.
• 다른 세대 간에 말하는 이-듣는 이 쌍(dyad)을 연결하여 반복 학습을 구현함으로써 문화적 전파를 시뮬레이션.
• 교차 엔트로피 손실과 확률적 경사 하강법(SGD)을 사용해 에이전트를 훈련하고, 성능은 메시지 정확도(말하는 이)와 정확한 봉투 선택률(듣는 이)로 측정.
• 세대에 걸쳐 언어의 진화를 추적하기 위해, 유도된 언어의 위상적 유사성과 다양한 조합성 수준(ρ)을 갖는 언어의 사후 확률을 사용하며, 세대 간에 스무딩된 지표를 적용.

실험 결과

연구 질문

• RQ1 신경망 에이전트에서 반복 학습이 수치 개념을 위한 조합적 언어의 유도로 이어지는가?
• RQ2 다른 입력 표현 방식(연결, 이미지, 집합)이 유도된 언어에서 조합적 구조의 유도에 어떤 영향을 미치는가?
• RQ3 청취자가 언어를 숙달하기 위해 필요한 학습 반복 횟수로 측정되는 학습 용이성이 조합적 언어의 지배를 결정짓는 요소인가?
• RQ4 표현력은 유사한데도 벡터 집합 기반 입력 표현에서는 조합적 언어가 유도되지 않는 이유는 무엇인가?

주요 결과

• 입력 표현이 연결된 one-hot 벡터 또는 이미지일 경우, 조합적 언어(ρ > 0.6)가 세대에 걸쳐 유도되었으며, 높은 조합성 언어의 사후 확률이 점차 증가함.
• 연결 및 이미지 조건에서 최종적으로 유도된 언어는 A와 B 물체의 수에 해당하는 명확한 메시지 토큰을 보였으며, 명백한 조합적 구조를 보였다.
• 벡터 집합 기반 입력 표현 조건에서는 조합적 언어가 유도되지 않았고, 최종 언어는 비조합적이었으며, 메시지 토큰과 물체 수 사이에 명확한 대응 관계가 없었다.
• 위상적 유사성 측정에서, 벡터 집합 조건은 연결 및 이미지 조건보다 유의미하게 낮은 유사도를 보였으며, 이는 세대 간에 언어의 구조적 일관성이 떨어짐을 시사.
• 조합적 언어는 동일한 입력 조건에서 전체적 또는 유도된 언어보다 청취자가 더 빨리 학습할 수 있었으며, 이는 반복 학습에서 조합적 언어가 지배적인 이유를 설명.
• 결과는 조합성이 표현력과 학습 용이성 간의 상충 관계에서 기인하며, 특히 벡터 집합 표현 방식은 낮은 구조적 규칙성에도 불구하고 청취자 학습 용이성이 더 높아 비조합적 언어가 유리하다는 가정을 지지함.