[논문 리뷰] Emergence of Pragmatics from Referential Game between Theory of Mind Agents

Luyao Yuan, Zipeng Fu외 4명|arXiv (Cornell University)|2020. 01. 21.

Multi-Agent Systems and Negotiation참고 문헌 52인용 수 12

한 줄 요약

이 논문은 명시적인 규칙 없이도 협동적 마음 이론(ToM) 에이전트가 자발적으로 실용적 의사소통 프로토콜을 개발할 수 있도록 하는 적응형 강화학습 알고리즘을 제안한다. 상대방의 정신 상태에 대한 일阶 믿음을 모델링하고 반복적 최적 반응 학습을 사용함으로써, 에이전트들은 문장의 낱말 그 자체를 넘어서 맥락적으로 관련된 의미를 추론하게 되며, 참조 정확도는 최대 98.7%에 도달하고 실질적으로 재귀적 가르침 차원(RTD)을 근사한다.

ABSTRACT

Pragmatics studies how context can contribute to language meanings. In human communication, language is never interpreted out of context, and sentences can usually convey more information than their literal meanings. However, this mechanism is missing in most multi-agent systems, restricting the communication efficiency and the capability of human-agent interaction. In this paper, we propose an algorithm, using which agents can spontaneously learn the ability to "read between lines" without any explicit hand-designed rules. We integrate the theory of mind (ToM) in a cooperative multi-agent pedagogical situation and propose an adaptive reinforcement learning (RL) algorithm to develop a communication protocol. ToM is a profound cognitive science concept, claiming that people regularly reason about other's mental states, including beliefs, goals, and intentions, to obtain performance advantage in competition, cooperation or coalition. With this ability, agents consider language as not only messages but also rational acts reflecting others' hidden states. Our experiments demonstrate the advantage of pragmatic protocols over non-pragmatic protocols. We also show the teaching complexity following the pragmatic protocol empirically approximates to recursive teaching dimension (RTD).

연구 동기 및 목표

• 다중 에이전트 시스템이 문맥과 상호 믿음에 의해 영향을 받는 의미를 가지는 실용적 의사소통을 개발하도록 하되, 단순히 문장의 직역 해석에 의존하지 않도록 하는 것.
• 높은 계산 비용이 수반되는 복잡한 재귀적 마음 이론(ToM) 추론을 다중 에이전트 시스템에 통합하는 데 도전하는 것.
• 에이전트들이 맥락에 민감한 메시지 선택과 글로벌 메시지 매핑을 학습할 수 있도록 가능한 스케일링이 가능하고 종단 간 훈련이 가능한 프레임워크를 설계하는 것.
• 협동적 가르침 상황에서 실용적 프로토콜이 자연스럽게 발생하는지 평가하고, 정확도와 가르침 복잡성 측면에서 비실용적 기준과 비교하는 것.
• 인간이 애너테이션한 메시지 기반을 통해 이론적으로 가르침 복잡성의 하한선인 재귀적 가르침 차원(RTD)에 근접하는 프로토콜이 도출되는지 조사하는 것.

제안 방법

• 협동 다중 에이전트 강화학습에 일계 마음 이론(ToM)을 통합하여, 에이전트들이 환경과 대상 물체에 대한 상대방의 믿음을 모델링하도록 하는 것.
• 반복적 최적 반응(IBR) 학습 기법을 사용: 한 에이전트의 정책를 고정하고 다른 에이전트의 정책를 최적화함으로써 상호 적응과 안정된 의사소통 프로토콜에의 수렴을 가능하게 하는 것.
• 상대방의 실제 믿음을 근사하기 위한 믿음 추정 함수를 학습하는 적응형 강화학습 알고리즘을 개발하여 고차수 믿음의 중첩 문제를 피하는 것.
• 기호적 입력과 픽셀 기반 입력을 사용하는 參考 게임 설정을 통해 티처가 스터디에게 메시지를 사용해 목표 물체를 전달하도록 훈련하는 것.
• 공동 훈련 이전에 베이지안 믿음 갱신을 통해 에이전트를 사전 훈련하여 메시지 기반의 해석 가능성을 보장하고 안정성 및 해석 가능성 향상을 도모하는 것.
• 다양한 간섭물 수(3 또는 7)를 가진 테스트 세트를 사용해 메시지 유효성과 참조 정확도를 평가하고, 메시지와 간섭물 속성 간 공분산을 계산하여 맥락 민감도를 평가하는 것.

실험 결과

연구 질문

• RQ1 명시적인 규칙 없이도, 마음 이론(ToM)을 갖춘 강화학습을 통해 다중 에이전트 시스템에서 실용적 의사소통이 자연스럽게 발생할 수 있는가?
• RQ2 일계 믿음 모델링의 통합이 직역 해석 대비 의사소통 효율성과 참조 정확도에 어떻게 기여하는가?
• RQ3 유도된 실용적 프로토콜이 이론적으로 가르침 복잡성의 하한선인 재귀적 가르침 차원(RTD)을 어느 정도 근사하는가?
• RQ4 에이전트들은 맥락적 간섭물에 따라 어떻게 메시지를 동적으로 선택하는가? 이는 메시지-간섭물 속성 공분산을 통해 정량화할 수 있는가?
• RQ5 인간이 애너테이션한 메시지 기반은 이해 가능하고 효율적인 프로토콜을 도출할 수 있는가? 이는 최적의 가르침 복잡성에 근접하는가?

주요 결과

• 실용적 프로토콜은 7개의 간섭물을 가진 상황에서 참조 정확도 98.7%를 기록했고, 4개 간섭물일 경우 98.1%를 기록하여 비실용적 기준보다 뚜렷이 뛰어난 성능을 보였다.
• 실용적 프로토콜 하에서 메시지 유효성은 98.8%에 도달하여, 에이전트들이 맥락적으로 적절하고 의미 있는 발화를 생성했다는 것을 시사한다.
• 공분산 분석 결과, 교사 에이전트는 간섭물 속성과 관련된 메시지를 피하는 경향을 보였다. 예를 들어, 색상 간섭물이 존재할 경우 색상 메시지의 사용 빈도가 감소하는 경향을 보였으며, 이는 맥락 민감한 메시지 선택을 확인하는 데 기여한다.
• 인간이 애너테이션한 기반을 사용한 결과, 유도된 프로토콜의 가르침 복잡도는 실질적으로 재귀적 가르침 차원(RTD)에 근접하였으며, 이는 정보 효율성 측면에서 거의 최적임을 시사한다.
• 반복적 훈련 과정은 프로토콜 진화를 안정화시키며 효과적인 의사소통 패tern을 유지하면서 성능 향상을 이끌었고, 높은 인간 해석 가능성도 유지하였다.
• 이전의 방법들인 L.A. [2017]과 L.A. [2018]을 초월하여, 동일한 조건에서 7개 간섭물일 경우 98.1%의 정확도, 4개 간섭물일 경우 99.7%의 정확도를 기록하였다.