[논문 리뷰] Anti-efficient encoding in emergent communication

Rahma Chaabouni, Eugene Kharitonov외 2명|arXiv (Cornell University)|2019. 05. 29.

Language and cultural evolution참고 문헌 38인용 수 68

한 줄 요약

요약: 이 논문은 두 개의 신경 에이전트가 Emergent하게 비효율적 인코딩을 개발한다는 것을 보여주며, 더 자주 등장하는 입력일수록 더 긴 메시지로 매핑되고 Zipf의 약어 법칙(Zipf’s Law of Abbreviation)과 반대가 되며, 화자에 길이 패널티가 추가되지 않으면 그렇다.

ABSTRACT

Despite renewed interest in emergent language simulations with neural networks, little is known about the basic properties of the induced code, and how they compare to human language. One fundamental characteristic of the latter, known as Zipf's Law of Abbreviation (ZLA), is that more frequent words are efficiently associated to shorter strings. We study whether the same pattern emerges when two neural networks, a "speaker" and a "listener", are trained to play a signaling game. Surprisingly, we find that networks develop an \emph{anti-efficient} encoding scheme, in which the most frequent inputs are associated to the longest messages, and messages in general are skewed towards the maximum length threshold. This anti-efficient code appears easier to discriminate for the listener, and, unlike in human communication, the speaker does not impose a contrasting least-effort pressure towards brevity. Indeed, when the cost function includes a penalty for longer messages, the resulting message distribution starts respecting ZLA. Our analysis stresses the importance of studying the basic features of emergent communication in a highly controlled setup, to ensure the latter will not strand too far from human language. Moreover, we present a concrete illustration of how different functional pressures can lead to successful communication codes that lack basic properties of human language, thus highlighting the role such pressures play in the latter.

연구 동기 및 목표

• 신경 에이전트에서 Emergent communication 코드가 Power-law 입력 분포하에서 Zipf’s Law of Abbreviation(ZLA)을 따르는지 여부를 조사한다.
• 단순 신호 게임에서 화자/청자 압력이 메시지 길이 분포를 어떻게 형성하는지 평가한다.
• Emergent 인코딩에 길이 패널티를 추가하는 것이 인간 언어의 효율성에 부합하는지 여부를 분석한다.
• Emergent 코드가 효율적인 참조(Optimal Code)나 원숭이 타이핑 분포를 닮았는지 여부를 조사하고 자연어와 비교한다.

제안 방법

• Power-law 분포에서 추출된 1000개의 입력 유형으로 Lewis 신호 게임을 설정한다.
• 정의된 maxlen 하에서 eos로 끝나는 메시지를 인코딩/디코딩하기 위해 단일층 LSTM인 화자와 청자를 사용한다.
• 이산 메시지 채널을 학습시키기 위해 Running Baseline과 엔트로피 정규화를 포함한 REINFORCE 유사 그래디언트로 최적화한다.
• 다양한 문자 집합 크기 a와 maxlen에 대해 Emergent 인코딩을 Optimal Code(OC), Monkey Typing(MT), 자연어와 비교한다.
• 길이 패널티의 유무에 따라 ZLA를 촉진하는 효과를 테스트한다.
• 학습 후 모든 입력에 대한 정확도로 성공 여부를 평가하고 메시지 길이 분포를 분석한다.

실험 결과

연구 질문

• RQ1 Power-law 입력 분포에서 Emergent 코드가 Zipf’s Law of Abbreviation(ZLA) 혹은 비효율적 패턴을 나타내는가?
• RQ2 관계자(화자/청자) 역학의 어떤 편향이 관찰된 인코딩 패턴으로 이어지는가?
• RQ3 길이 패널 penalties가 길이가 긴 메시지를 벌주하면 ZLA에 가까운 효율적 인코딩으로 복원되는가?
• RQ4 Emergent 메시지 속성(단어 분포/연쇄 분포)이 자연어 및 제어 모델과 어떻게 비교되는가?

주요 결과

• Emergent 커뮤니케이션은 비효율적 인코딩을 낳는다: 더 자주 등장하는 입력이 더 긴 메시지로 매핑되고 대부분의 메시지가 maxlen에 근접한다.
• 학습되지 않은 화자는 무작위/균등 생성자처럼 동작하여 청자 주도 효과가 비효율적 패턴을 형성하는 것을 시사한다.
• 학습되지 않은 청자는 Emergent 메시지가 다른 인코딩보다 구분 가능한 표현을 더 많이 만든다는 것을 보이며, 더 긴 메시지에 대한 청자 편향이 구별성을 돕는다는 것을 시사한다.
• 화자에 길이 패널티를 가하면 ZLA와 같은 분포로 수렴하게 되어 기능적 압력이 효율적 인코딩으로 유도될 수 있음을 보여준다.
• 음소 단계 분석은 Emergent 메시지가 비율이 skewed한 unigram 분포와 강한 bigram 반복을 보여, 무작위 혼합을 넘어선 음소학적 제약이 있음을 시사한다.
• 다중 구성 실험은 비효율적 패턴이 설정에 따라 견고하며 인간 언어에서 그러한 압력 없이는 일반적이지 않음을 확인한다.