[논문 리뷰] Few-shot Language Coordination by Modeling Theory of Mind

Hao Zhu, Graham Neubig외 1명|arXiv (Cornell University)|2021. 07. 12.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 말하는 에이전트가 청취자의 마음 이론(ToM)을 모델링하여 실시간으로 적응형 지시를 생성할 수 있는 소수의 예제를 활용한 언어 협력 프레임워크를 제안한다. 메타학습을 통해 청취자의 행동을 예측함으로써, 이론적 민감도를 고려하여 청취자의 믿음을 명시적으로 추론함으로써 참조 게임과 언어 탐색 작업에서 의사소통 효율성을 향상시키며, 소수의 예제 적응 시나리오에서 비-ToM 기반 모델들을 능가한다.

ABSTRACT

$ extit{No man is an island.}$ Humans communicate with a large community by coordinating with different interlocutors within short conversations. This ability has been understudied by the research on building neural communicative agents. We study the task of few-shot $ extit{language coordination}$: agents quickly adapting to their conversational partners' language abilities. Different from current communicative agents trained with self-play, we require the lead agent to coordinate with a $ extit{population}$ of agents with different linguistic abilities, quickly adapting to communicate with unseen agents in the population. This requires the ability to model the partner's beliefs, a vital component of human communication. Drawing inspiration from theory-of-mind (ToM; Premack& Woodruff (1978)), we study the effect of the speaker explicitly modeling the listeners' mental states. The speakers, as shown in our experiments, acquire the ability to predict the reactions of their partner, which helps it generate instructions that concisely express its communicative goal. We examine our hypothesis that the instructions generated with ToM modeling yield better communication performance in both a referential game and a language navigation task. Positive results from our experiments hint at the importance of explicitly modeling communication as a socio-pragmatic progress.

연구 동기 및 목표

• 다양한 에이전트 간 소통 연구에서 자율 학습을 통해 훈련하는 에이전트들이 새로운 파트너에 적응하지 못하는 격차를 메우기 위해.
• 에이전트가 다양한 언어 능력을 지닌 새로운 듣는 이들에 대해 빠르게 적응해야 하는 현실적인 설정으로서 소수의 예제 언어 협력을 연구하기 위해.
• 청취자의 정서 상태(심리 이론, ToM)를 명시적으로 모델링하면 다이내믹하고 다중 라운드 상호작용에서 의사소통 성능이 향상되는지 조사하기 위해.
• 믿음 추적을 통해 청취자의 행동을 예측하고 실시간으로 최적의 지시를 선택할 수 있는 말하는 에이전트를 개발하기 위해.
• 시각-언어 탐색과 참조 게임 모두에서 ToM 모델링의 효과성을 입증하여 적응성과 성능 향상을 보여주기 위해.

제안 방법

• 말하는 에이전트는 다양한 지시에 대해 청취자가 어떤 행동을 할지를 예측함으로써, 새로운 청취자에게 빠르게 적응하기 위해 모델에 종속되지 않는 메타학습(MAML)을 사용한다.
• 각 타임스텝에서 말하는 에이전트는 이전 상호작용과 가능한 지시들에 따라 청취자가 다음에 취할 행동에 대한 믿음 상태를 유지한다.
• ToM 모델은 다양한 언어 능력을 지닌 청취자의 행동을 예측하도록 훈련되어, 말하는 에이전트가 정확한 행동 확률을 극대화하는 지시를 선택할 수 있도록 한다.
• 말하는 에이전트는 예측된 믿음 상태를 바탕으로 청취자가 정확한 행동을 수행할 확률을 극대화하는 지시를 선택한다.
• 프레임워크는 두 가지 설정에서 평가되며, 다국어 참조 게임과 언어 탐색 작업에서 성공률과 지시 효율성으로 측정된다.
• ToM 모델은 지시 생성 과정에서 재정렬기 역할을 하여, 사회적·의도적 추론을 명시적으로 모델링함으로써 의사결정을 향상시킨다.

실험 결과

연구 질문

• RQ1 말하는 에이전트는 다양한 언어 능력을 지닌 새로운 듣는 이들과 몇 번의 상호작용만으로도 효과적으로 적응할 수 있는가?
• RQ2 청취자의 심리 이론(ToM)을 명시적으로 모델링하면 소수의 예제 협력 작업에서 의사소통 성능이 향상되는가?
• RQ3 지시 효율성과 성공률 측면에서 ToM 기반 믿음 추적은 비-ToM 기반 기준 모델보다 어떻게 비교되는가?
• RQ4 모델은 다양한 청취자 유형 간 일반화할 수 있으며, 다이내믹하고 다중라운드 상호작용 동안 정확한 믿음 상태를 유지할 수 있는가?
• RQ5 ToM 모델링은 에이전트가 실시간으로 오해를 수정하고 지시 수준을 조정할 수 있는 능력을 얼마나 향상시키는가?

주요 결과

• ToM 기반 말하는 에이전트 모델은 참조 게임과 언어 탐색 작업 모두에서 비-ToM 기반 기준 모델을 뛰어넘었으며, 뛰어난 소수의 예제 적응 능력을 입증했다.
• 더 짧고 효과적인 지시를 선택함으로써 더 높은 성공률를 달성했으며, 예를 들어 적절한 경우 '지시 없음'을 선택하여 중복 명령을 피했다.
• 청취자가 '쿨'을 목적지로 잘못 이해하는 등의 오해를 탐지하고, 궤도를 수정하기 위해 더 낮은 수준의 지시로 반응할 수 있었다.
• ToM 모델은 높은 정확도로 청취자의 행동을 예측하여, 더 나은 지시 선택과 오해로 인한 실수 감소를 가능하게 했다.
• 메타학습의 활용 덕분에 모델는 예상치 못한 청취자에게도 일반화할 수 있었으며, 제로샷 협력 시나리오에서 뛰어난 강건성을 보였다.
• 실험 결과는 사회적·의도적 추론을 명시적으로 모델링함으로써(심리 이론을 통해) 다이내믹하고 상호작용적인 환경에서 더 효율적이고 효과적인 의사소통이 가능하다는 것을 확인했다.