[논문 리뷰] Emergence of Compositional Language with Deep Generational Transmission

Michael Cogswell, Jiasen Lu외 3명|arXiv (Cornell University)|2019. 04. 19.

Language and cultural evolution참고 문헌 47인용 수 36

한 줄 요약

논문은 주기적 교체(생성적 전달)가 신경 대화 에이전트의 문화적 전염을 유도하고 emergent language에서 더 구성적 일반화를 얻는다는 것을 보여준다.

ABSTRACT

Recent work has studied the emergence of language among deep reinforcement learning agents that must collaborate to solve a task. Of particular interest are the factors that cause language to be compositional -- i.e., express meaning by combining words which themselves have meaning. Evolutionary linguists have found that in addition to structural priors like those already studied in deep learning, the dynamics of transmitting language from generation to generation contribute significantly to the emergence of compositionality. In this paper, we introduce these cultural evolutionary dynamics into language emergence by periodically replacing agents in a population to create a knowledge gap, implicitly inducing cultural transmission of language. We show that this implicit cultural transmission encourages the resulting languages to exhibit better compositional generalization.

연구 동기 및 목표

• 문화적 전달을 주기적 에이전트 교체로 동기화하고 언어 진화를 모델링한다.
• 세대 역학이 구성적 특성에 대해 표현적이고 압축 가능한 언어를 촉진함을 보여준다.
• 교체가 구성적으로 새로운 속성 조합에 대한 일반화를 더 잘 이끄는지 평가한다.

제안 방법

• 협력적 Task & Talk 다이얼로그 게임을 Q-bots와 A-bots의 집단으로 확장한다.
• 문화적 전달을 시뮬레이션하기 위해 주기적 재초기화(에이전트 교체)를 도입한다.
• 다중 에이전트 설정에서 정책 경사로 학습하고 교체 전략(균등 무작위, ε-탐욕적, 가장 오래된)을 비교한다.
• 과잉완전성(overcomplete) 및 메모리 설정을 사용해 새로운 쌍과 새로운 인스턴스 데이터셋에서 구성 일반화를 테스트한다.
• 토큰 분포 간의 KL-발산으로 문화적 전달을 입증하기 위해 에이전트 간 언어 유사성을 측정한다.
• Emergent languages를 시각화하여 에이전트 소통의 구성적 구조를 설명한다.

실험 결과

연구 질문

• RQ1 주기적 에이전트 교체가 신경 대화 에이전트에서 문화적 전염을 유도하는가?
• RQ2 명시적 문화 전달이 전염이 없는 baselines에 비해 구성적 일반화를 향상시키는가?
• RQ3 다른 교체 전략이 언어 구성성 및 학습 효율성에 어떤 영향을 미치는가?
• RQ4 Emergent language가 구성적이고 질적 시각화에서 해석 가능한가?
• RQ5 메모리 및 어휘 크기가 생성적 전달과 Outcome에 어떤 상호작용을 하는가?

주요 결과

• 주기적 교체를 통한 문화 전달은 구성 일반화를 향상시키며, 가장 까다로운 데이터 세트에서 최고 구성에서의 테스트 정확도가 최대 46%까지 상승한다.
• 교체를 가진 다에이전트 인구는 교체 없이 baseline보다 에이전트 간 언어가 더 비슷하여 전달이 이루어졌음을 시사한다.
• 교체 전략은 다양한 어휘 및 메모리 설정에서 비교 대상 없이 교체하지 않는 baselines보다 일관되게 우수하다.
• 메모리 없음 또는 소형 어휘 구성은 구성적 이득이 가장 강하게 나타나며, 언어 등장에 관한 이전 연구와 일치한다.
• 언어 시각화는 emergent 토큰이 구분된 도형 속성 및 색상 속성에 매핑되며 구성적 구조를 보임을 보여준다.