[논문 리뷰] Emergence of Linguistic Communication from Referential Games with Symbolic and Pixel Input

Angeliki Lazaridou, Karl Moritz Hermann외 2명|arXiv (Cornell University)|2018. 04. 11.

Language and cultural evolution인용 수 40

한 줄 요약

본 연구는 강화학습 에이전트를 참조 게임에서 의사소통하도록 학습시키며, 먼저 기호 입력으로, 이후 픽셀 입력으로 다루어, 구조화된 입력이 더 구성적 언어를 촉진하고 원시 픽셀 입력이 grounding 및 구조 형성에 도전을 제시한다는 것을 보인다.

ABSTRACT

The ability of algorithms to evolve or learn (compositional) communication protocols has traditionally been studied in the language evolution literature through the use of emergent communication tasks. Here we scale up this research by using contemporary deep learning methods and by training reinforcement-learning neural network agents on referential communication games. We extend previous work, in which agents were trained in symbolic environments, by developing agents which are able to learn from raw pixel data, a more challenging and realistic input representation. We find that the degree of structure found in the input data affects the nature of the emerged protocols, and thereby corroborate the hypothesis that structured compositional language is most likely to emerge when agents perceive the world as being structured.

연구 동기 및 목표

• 환경 구조와 입력 표현이 참조 게임에서의 자발적 의사소통에 어떤 영향을 미치는지 조사한다.
• 이전의 기호 입력 연구를 원시 픽셀 입력으로 확장하여 언어 등장에서의 현실성 및 grounding을 평가한다.
• 다른 입력 체계와 작업 설정에서 구성적 구조가 어떻게 나타나는지와 그것이 등장하는지 검토한다.

제안 방법

• 참조 게임에서 대상 객체의 성공적 식별을 최대화하도록 강화학습으로 학습된 두 협력 에이전트(발화자와 청자)를 모델링한다.
• 객체를 이진 속성 벡터(기호적, 해리된)로 표현하거나 원시 픽셀 이미지(얽힌)로 표현한다.
• 발화자는 타겟을 밀집 벡터 u로 인코딩한 뒤, LSTM 디코더를 통해 A의 알파벳에서 가변 길이 이산 메시지 m을 출력한다.
• 청자는 후보 객체를 밀집 표현으로 인코딩하고 별도의 LSTM을 사용해 메시지를 z로 처리한 뒤 Gibbs 기반 포인팅 모듈로 대상 객체를 선택한다.
• 탐색을 유지하기 위한 엔트로피 정규화를 포함하여 REINFORCE로 모든 가중치를 함께 최적화한다.
• 성능, 새로운 객체에 대한 일반화, 의미 공간과 신호 공간 간의 위상적 유사성을 비교한다.

실험 결과

연구 질문

• RQ1 에이전트가 기호 입력 대 픽셀 입력으로 참조 게임에서 엔드 투 엔드로 학습될 때 의사소통 프로토콜이 emergent되는가?
• RQ2 입력 구조(해리된 속성 vs 얽힌 픽셀 데이터)가 구성성 및 일반화의 등장에 어떤 영향을 미치는가?
• RQ3 주지 대상을 분포와 맥락 동시출현이 학습된 언어와 그 구조에 미치는 영향은 무엇인가?
• RQ4 픽셀 입력으로부터의 emergent 프로토콜이 의미와 신호 간에 위상적 유사성을 나타낼 수 있는가?

주요 결과

• 에이전트는 기호 입력과 픽셀 입력 설정 모두에서 높은 의사소통 성공률을 보이며(긴 메시지일 때 학습 데이터에서 약 98%까지).
• 더 긴 최대 메시지 길이는 어휘집을 확장시키고 메시지와 개념 간의 일대일 매핑을 늘려 모호성을 줄인다.
• 기호 입력에서 emergent 메시지는 양의 위상적 유사성을 보이며 접두사가 범주 정보를 인코딩한다(예: 포유류, 차량).
• 픽셀 입력에서도 높은 정확도(예: 게임 A에서 93.7%)를 달성하고 위상적 유사성을 보이나, 프로토콜은 불안정하고 게임 제약에 크게 의존하는 경향이 있어 때때로 임의의 명명 규칙을 생성한다.
• 해리화(disentanglement)가 더 구조화된 언어를 가능하게 하는 핵심 요인으로 지목되며, 입력이 얽혀 있을 때(픽셀 데이터) 변이 요인을 정리하기가 어려워 구성성을 감소시킨다.
• 맥락적 distractor 분포가 언어 학습 역학과 일반화 정도에 영향을 주며, 맥락 의존적 distractor는 수렴을 늦출 수 있지만 유사성으로 인한 혼동을 줄일 수 있다.
• 픽셀 기반 설정에서 시각적 표현이 위치 정보를 일관되게 인코딩하는 것으로 나타났고, 게임마다 색상과 모양에 대한 예측력은 다르게 나타난다.