[논문 리뷰] OpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind Reasoning Capabilities of Large Language Models

Hainiu Xu, Runcong Zhao외 3명|arXiv (Cornell University)|2024. 02. 08.

Topic Modeling인용 수 4

한 줄 요약

OpenToM은 대규모 언어 모델(Large Language Models, LLMs)의 신경적 마음 이론(Neural Theory-of-Mind, N-ToM) 추론 능력을 평가하기 위한 새로운 벤치마크이다. 자연스럽고 인격화된 서사, 의도적인 행동, 명시적인 성격 특성, 그리고 물리적 세계와 심리적 정서 상태를 대상으로 하는 다양한 질문을 포함한다. 연구 결과, LLMs는 물리적 세계 추론에서는 상당히 잘 수행하지만, 심리적 상태 추적에서는 뚜렷하게 열등한 성능을 보이며, 사회인지 능력에 심각한 격차가 있음을 드러낸다.

ABSTRACT

Neural Theory-of-Mind (N-ToM), machine's ability to understand and keep track of the mental states of others, is pivotal in developing socially intelligent agents. However, prevalent N-ToM benchmarks have several shortcomings, including the presence of ambiguous and artificial narratives, absence of personality traits and preferences, a lack of questions addressing characters' psychological mental states, and limited diversity in the questions posed. In response to these issues, we construct OpenToM, a new benchmark for assessing N-ToM with (1) longer and clearer narrative stories, (2) characters with explicit personality traits, (3) actions that are triggered by character intentions, and (4) questions designed to challenge LLMs' capabilities of modeling characters' mental states of both the physical and psychological world. Using OpenToM, we reveal that state-of-the-art LLMs thrive at modeling certain aspects of mental states in the physical world but fall short when tracking characters' mental states in the psychological world.

연구 동기 및 목표

• 기존 N-ToM 벤치마크의 한계를 해결하기 위해, 즉 인위적인 서사, 성격 부재, 모호한 의도 등을 해결하고자 한다.
• 물리적 세계와 심리적 세계 양쪽에서 캐릭터의 정서 상태를 추론할 수 있는 능력을 평가하는 종합적인 벤치마크를 개발하고자 한다.
• 사람이 참여하는, LLM을 활용한 네 단계 프로세스를 통해 고품질의 인간 검증 서사를 생성함으로써, 부적절한 신호를 줄이고 현실감을 향상시키고자 한다.
• 최신 LLM의 심리적 추론 과제에서의 성능을 평가하여, N-ToM 능력에서 지속적인 한계를 규명하고자 한다.

제안 방법

• 네 단계의 인간-중심 피이드백 프로세스를 활용한다: (1) 캐릭터에 성격 특성과 선호도를 부여하고, (2) 의도와 이를 이행하는 행동(엔엑션)을 정의하며, (3) LLM을 활용해 자연스러운 서사를 생성하고, (4) 인간 평가자들이 명료성과 통일성을 확보하기 위해 서사를 보완한다.
• 서사에 주인공 두 명, 관심 대상 엔티티, 다수의 장소를 포함하여, 행동이 캐릭터의 의도와 성격에 의해 이끌리도록 구성한다.
• 각 서사에 대해 세 가지 유형의 질문을 구성한다: (1) 위치 기반 질문(Loc), (2) 다단계 추론 질문(MHop), (3) 태도 기반 질문(Att)으로 심리적 상태를 대상으로 한다.
• 다양한 LLM(예: GPT-4, Llama2, Mixtral)을 대상으로 제로샷 평가를 실시하고, 체인 오브 토의(Chain-of-Thought) 및 시뮬레이티드 토의(Simulated-ToM)와 같은 프롬프팅 기법을 테스트한다.
• 비교를 위한 기준선을 확보하기 위해 Llama2-Chat-13B 모델을 피니튜닝한다.
• 부적절한 상관관계(예: 어휘 일치)를 줄이기 위한 철저한 완화 전략을 적용하여, 진정한 N-ToM 추론 평가가 가능하도록 보장한다.

실험 결과

연구 질문

• RQ1 LLM은 서사적 맥락과 캐릭터의 의도를 바탕으로 실체의 물리적 세계 위치를 얼마나 정확하게 예측할 수 있는가?
• RQ2 복잡한 사회적 서사 속에서 LLM은 캐릭터의 태도, 신념, 정서적 반응과 같은 심리적 상태를 얼마나 잘 추론하는가?
• RQ3 성격 특성과 의도적인 행동이 포함된 서사가 템플릿 기반 벤치마크보다 LLM의 토의 추론 능력 향상에 기여하는가?
• RQ4 고급 프롬프팅 기법(예: 체인 오브 토의, SimToM)과 피니튜닝은 LLM의 심리적 정서 상태 모델링 능력에 어떤 영향을 미치는가?
• RQ5 LLM의 N-ToM 추론에서 주요 실패 유형은 무엇이며, 특히 무관심, 서사 길이에 대한 민감도, 역할 모호성과 관련하여 어떻게 나타나는가?

주요 결과

• 최신 LLM, 예를 들어 GPT-4와 피니튜닝된 Llama2-13B는 물리적 세계 추론(예: 물체의 위치)에서 높은 정확도를 달성하지만, 심리적 상태 질문에서는 성능이 크게 떨어진다.
• LLM은 추론 능력에 심각한 불일치를 보이며, 물리적 세계 인식에는 강력한 반면 심리적 상태 모델링에는 취약하여 사회인지 능력에 근본적인 격차가 있음을 시사한다.
• 체인 오브 토의 및 시뮬레이티드 토의와 같은 고급 프롬프팅 기법을 사용하더라도, LLM은 캐릭터의 태도나 신념을 일관되게 유추하지 못하여 정서 상태 추적 능력에 내재된 한계를 보여준다.
• 모델는 추론에서 무관심을 보이며, 서사 논리나 캐릭터 심리와 맞지 않는 타당해 보이는 그러나 잘못된 설명을 자주 생성한다.
• 성능은 서사 길이와 캐릭터 역할에 민감하며, 역할이 모호하거나 서사가 길고 복잡할수록 더 어려움을 겪는다.
• 벤치마크는 현재 LLM이 잘 구성된 인격화된 서사 속에서도 부적절한 신호에 의존하고, 미묘한 심리적 인식을 이해하지 못함을 드러낸다.