[논문 리뷰] Ease-of-Teaching and Language Structure from Emergent Communication

Fushan Li, Michael Bowling|arXiv (Cornell University)|2019. 06. 06.

Language and cultural evolutionSocial Sciences참고 문헌 30인용 수 17

한 줄 요약

이 논문은 언어를 더 쉽게 가르칠 수 있도록 하기 위해 听衆를 주기적으로 리셋하여 급격한 환경적 압력을 유도함으로써 잠재적 의사소통을 향상시키는 새로운 훈련 제도를 제안한다. 리셋이 동시에 이루어지는 경우보다 순차적으로 이루어지는 경우보다 더 구조적이고 구성적인, 그리고 가르치기 쉬운 언어를 유도하며, 특히 언어의 가르치기 쉬움과 지형 유사도 측면에서 뚜렷한 향상이 나타난다.

ABSTRACT

Artificial agents have been shown to learn to communicate when needed to complete a cooperative task. Some level of language structure (e.g., compositionality) has been found in the learned communication protocols. This observed structure is often the result of specific environmental pressures during training. By introducing new agents periodically to replace old ones, sequentially and within a population, we explore such a new pressure -- ease of teaching -- and show its impact on the structure of the resulting language.

연구 동기 및 목표

• 다중 에이전트 강화학습에서 잠재적 의사소통 프로토콜을 설계하는 데 있어 '가르치기 쉬움'이 원칙으로 작용할 수 있는지 조사하기 위해.
• 환경적 압력—특히 새로운 听衆를 가르쳐야 하는 필요성—이 구성적이고 구조적인 언어의 출현을 어떻게 촉진할 수 있는지 조사하기 위해.
• 동시적 리셋과 순차적 리셋이 언어의 가르치기 쉬움과 구조적 특성에 미치는 영향을 비교하기 위해.
• 급격한 훈련 전환으로 인한 정책 엔트로피 증가가 더 가르치기 쉬운, 더 구조적인 의사소통을 유도하는지 평가하기 위해.

제안 방법

• 말하는 자가 고정 길이의 메시지를 사용해 목표 물체를 듣는 자에게 전달하는 参照 게임 설정을 사용하며, 듣는 자는 다섯 개의 후보 중에서 정확한 물체를 선택한다.
• 말하는 자의 정책은 탐색과 적응성을 장려하기 위해 엔트로피 정규화 항을 포함한 강화학습으로 훈련된다.
• 새로운 듣는 자들이 주기적으로 훈련 인구에 도입되며, 이는 동적인 가르침 환경을 시뮬레이션하기 위함이다. 이는 동시에 또는 순차적으로 이루어질 수 있다.
• 훈련 제도에는 1, 2, 10명의 듣는 자 수를 포함하며, 성공률과 엔트로피 동역학을 시간에 따라 모니터링한다.
• 전이 학습 프rotocol을 사용하여 새로운 듣는 자가 언어를 얼마나 빨리 습득하는지 측정함으로써 언어의 가르치기 쉬움을 평가한다.
• 잠재적 의사소통에서의 구성적 구조를 측정하기 위해 지형 유사도라는 지표를 사용하여 언어의 구조를 정량화한다.

실험 결과

연구 질문

• RQ1 주기적으로 새로운 듣는 자를 도입하는 것이 더 가르치기 쉬운 언어의 출현을 이끌어내는가?
• RQ2 듣는 자 도입 시점(동시 vs. 순차)이 언어의 구조와 가르치기 쉬움에 어떤 영향을 미치는가?
• RQ3 듣는 자 리셋으로 인한 급격한 환경 변화가 정책 엔트로피를 증가시키고 구성적 언어의 출현을 어떻게 촉진하는가?
• RQ4 새로운 에이전트를 가르쳐야 하는 압박감이 더 구조적이고 압축 가능성이 높은 의사소통 프로토콜을 유도할 수 있는가?
• RQ5 큰 인구 규모가 언어의 가르치기 쉬움에 유리한가, 아니면 교육 압박을 약화시키는가?

주요 결과

• 모든 듣는 자를 동시에 리셋하는 것은 가장 높은 가르치기 쉬움과 지형 유사도를 보이며, 더 구조적이고 학습 가능한 언어를 의미한다.
• 주기적인 리셋이 적용된 언어는 리셋이 없는 경우보다 뚜렷이 더 쉽게 가르칠 수 있으며, 특히 동시에 리셋된 경우에 그 향상이 가장 두드러진다.
• 듣는 자 리셋 직후에 말하는 자의 정책 엔트로피가 급격히 증가하며, 이는 특히 소규모 인구에서 더 가르치기 쉬운 언어로의 재구성 메커니즘이라는 것을 시사한다.
• 더 큰 인구에서 순차적 리셋(예: N=10)은 훈련 동역학을 부드럽게 하지만 언어의 구조적 출현에 대한 압박을 줄여 효과를 약화시킨다.
• 훈련 목표의 급격한 변화가 없는 경우—예를 들어 점진적인 듣는 자 교체가 이루어지는 큰 인구에서—가르치기 쉬운 언어와 구조적 언어의 출현이 둔화된다.
• 명시적인 인구 압박이 없는 상황에서도 리셋이 없는 큰 인구에서는 언어의 구조가 약간 증가하지만, 리셋 제도에 비해 훨씬 더 낮은 정도이다.