[논문 리뷰] Incorporating Pragmatic Reasoning Communication into Emergent Language

Yipeng Kang, Tonghan Wang외 1명|arXiv (Cornell University)|2020. 06. 07.

Language and cultural evolution참고 문헌 54인용 수 6

한 줄 요약

이 논문은 다중 에이전트 강화 학습에서 단기적, 상대방을 고려한 의미론적 추론과 장기적 부상 언어 체계를 통합하는 계산 프레임워크를 제안한다. 게임 이론적 의미론과 참조 게임 및 스타크래프트 II에서의 부상 의사소통을 결합함으로써, 더 정확하고 내성적이며 간결한 의사소통을 달성한다. 양방향 의미론적 추론은 일방적 접근 방식을 능가하며 메시지 손실에 대한 저항력을 크게 향상시킨다.

ABSTRACT

Emergentism and pragmatics are two research fields that study the dynamics of linguistic communication along substantially different timescales and intelligence levels. From the perspective of multi-agent reinforcement learning, they correspond to stochastic games with reinforcement training and stage games with opponent awareness. Given that their combination has been explored in linguistics, we propose computational models that combine short-term mutual reasoning-based pragmatics with long-term language emergentism. We explore this for agent communication referential games as well as in Starcraft II, assessing the relative merits of different kinds of mutual reasoning pragmatics models both empirically and theoretically. Our results shed light on their importance for making inroads towards getting more natural, accurate, robust, fine-grained, and succinct utterances.

연구 동기 및 목표

• 장기적 언어 진화와 함께 단기적 의미론적 추론을 통합함으로써 부상 언어 연구의 격차를 해소하고자 한다.
• 에이전트가 학습된 언어 습관을 초월해 합리적이고 맥락에 민감한 추론을 통해 의사소통 성공률을 향상시킬 수 있는 방식을 모델링하고자 한다.
• 특히 이중 방향 및 게임 이론적 접근 방식을 포함한 다양한 의미론적 추론 모델의 효과성을 평가하여 의사소통 정확도와 내성성을 향상시키는 데 목적이 있다.
• 실제 다중 에이전트 환경, 특히 메시지 간섭이 발생하는 실시간 전략 게임인 스타크래프트 II에서 의미론적 추론의 실용적 영향을 평가하고자 한다.
• 다양한 시간 스케일과 지능 수준에서 언어 역학에서 부상주의와 의미론을 통합하는 통합 프레임워크를 제공하고자 한다.

제안 방법

• 장기적 언어 부상은 다중 에이전트 강화 학습을 통해, 이후 단기적 의미론적 추론은 심리적 게임 이론을 활용하여 수행하는 이중 단계 프레임워크를 제안한다.
• 청자 기대와 행동 비용을 기반으로 발화를 정교화하기 위해 반복적 최적 반응(IBR) 및 게임 이론적 균형을 사용해 의미론적 추론을 모델링한다.
• 단순함을 증진하기 위해 행동 비용과 메시지 압축을 엔트로피 및 L1-노름 최소화를 통해 통합한다: $-H(s(f)) + \int_f p(f)\|s(f)\|_1\,df$.
• 메시지 표현의 척도 모호성을 해결하기 위해 $\det(\mathrm{cov}(s(f))) = 1$ 제약 조건을 도입함으로써 유일한 균형 해를 보장한다.
• 일致성을 확보하기 위해 스타크래프트 II 실험에서는 왕 등(2019b)의 동일한 신경망 아키텍처와 학습 설정을 사용한다.
• 1o2r_vs_4r 맵에서 에이전트를 훈련하기 위해 AWS g4dn.xlarge 인스턴스를 사용하여 3000만 개의 학습 스텝 동안 재생 버퍼와 확률적 경사 하강 업데이트를 시행한다.

실험 결과

연구 질문

• RQ1 순수 부상주의에 비해 단기적 의미론적 추론을 통합함으로써 부상 언어 체계에서 의사소통 정확도는 어떻게 향상되는가?
• RQ2 참조 게임과 복잡한 환경에서 일방적 추론과 이중적 추론의 상대적 성능은 어떠한가?
• RQ3 게임 이론적 의미론 모델이 다중 에이전트 환경에서 의사소통 정확도의 상한선으로서 얼마나 유용한가?
• RQ4 실시간 전략 게임인 스타크래프트 II에서 메시지 손실 상황에서 의미론적 추론은 의사소통 내성성을 어떻게 향상시키는가?
• RQ5 의미론적 추론은 부상 언어에서 더 간결하고 세밀하며 맥락에 적절한 발화를 이끌 수 있는가?

주요 결과

• 이중 방향 의미론적 추론 모델은 상호 이해와 맥락을 더 잘 활용함으로써 일방적 모델보다 의사소통 정확도에서 뛰어난 성능을 보인다.
• 반복적 최적 반응(IBR) 모델은 인간의 인지 과학에서 관찰되는 이중 수준 추론과 유사한 실용적인 추론 깊이를 확보하며 높은 의사소통 정확도를 달성한다.
• 게임 이론적 의미론 모델은 고전적 모델보다 더 높은 의사소통 정확도 상한선을 제공하며 합리적 균형 계산의 가치를 입증한다.
• 스타크래프트 II에서 의미론적 에이전트는 메시지 손실 상황에서도 상대적으로 높은 전투 승률을 유지하며, 손실 비율이 증가할수록 성능이 향상된다 — 이는 내성성을 보여준다.
• 50% 메시지 손실 비율에서 의미론적 모델은 비의미론적 기준 모델보다 명확한 승률 우위를 보이며, 95% 신뢰구간이 통계적 유의성을 확인한다.
• 모델은 동일한 메시지(예: (0,0,0))가 에이전트의 역할과 믿음에 따라 다른 의미론적 의미를 지닐 수 있도록 분업 구조를 가능하게 한다.