[논문 리뷰] How FaR Are Large Language Models From Agents with Theory-of-Mind?

Pei Zhou, Aman Madaan외 10명|arXiv (Cornell University)|2023. 10. 04.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 이론적 마음 상태 추론을 전략적 행동으로 번역할 수 있는지 평가하는 새로운 벤치마크인 Thinking for Doing (T4D)를 소개한다. 또한 GPT-4의 성능을 50%에서 71%로 향상시키는, 향후 사건 예측과 행동 반성에 기반한 구조적 추론 프레임워크인 Foresee and Reflect (FaR) 제안한다. 이는 Chain-of-Thought 및 Self-Ask보다 유의하게 뛰어난 성능을 보이며, 제로샷 일반화 능력을 확보한다.

ABSTRACT

"Thinking is for Doing." Humans can infer other people's mental states from observations--an ability called Theory-of-Mind (ToM)--and subsequently act pragmatically on those inferences. Existing question answering benchmarks such as ToMi ask models questions to make inferences about beliefs of characters in a story, but do not test whether models can then use these inferences to guide their actions. We propose a new evaluation paradigm for large language models (LLMs): Thinking for Doing (T4D), which requires models to connect inferences about others' mental states to actions in social scenarios. Experiments on T4D demonstrate that LLMs such as GPT-4 and PaLM 2 seemingly excel at tracking characters' beliefs in stories, but they struggle to translate this capability into strategic action. Our analysis reveals the core challenge for LLMs lies in identifying the implicit inferences about mental states without being explicitly asked about as in ToMi, that lead to choosing the correct action in T4D. To bridge this gap, we introduce a zero-shot prompting framework, Foresee and Reflect (FaR), which provides a reasoning structure that encourages LLMs to anticipate future challenges and reason about potential actions. FaR boosts GPT-4's performance from 50% to 71% on T4D, outperforming other prompting methods such as Chain-of-Thought and Self-Ask. Moreover, FaR generalizes to diverse out-of-distribution story structures and scenarios that also require ToM inferences to choose an action, consistently outperforming other methods including few-shot in-context learning.

연구 동기 및 목표

• 대규모 언어 모델(LLM)이 사회적 상황에서 이론적 마음 상태 추론을 실질적인 결정으로 연결할 수 있는지 평가하는 것.
• 명시적인 프롬프트 없이 암묵적인 정서 상태 추론을 바탕으로 행동을 취하지 못하는 LLM의 핵심 과제를 규명하는 것.
• ToM 기반 행동 선택을 위한 LLM 추론 능력을 향상시키는 제로샷 프롬프팅 프레임워크를 설계하는 것.
• 표준 가짜 믿음 테스트를 넘어서 다양한 스토리 구조와 사회적 상황에서 제안된 방법의 일반화 능력을 테스트하는 것.

제안 방법

• 모델이 스토리 기반 사회적 상황에서 유추된 정서 상태에 기반해 적절한 행동을 선택해야 하는 제로샷 평가 파라다임인 T4D를 제안한다.
• ToMi 벤치마크의 스토리를 이观察-행동 쌍으로 변환하여 이론적 마음 상태 테스트를 위한 가짜 믿음 구조를 유지한다.
• FaR (Foresee and Reflect)를 도입하며, 두 단계의 추론 프롬프트를 제공한다: 첫 번째로 향후 사건을 예측한다(Foresee), 두 번째로 행동의 효율성을 평가한다(Reflect).
• 모델이 암묵적인 추론을 식별하고 행동 선택 이전에 향후 결과를 고려하도록 유도하기 위해 구조화된 프롬프팅을 활용한다.
• Ablation 연구를 통해 Foresee 및 Reflect 구성 요소의 기여도를 분리하여 그 필수성을 검증한다.
• FaR를 분포 외 스토리 구조(D1, D2, D3) 및 Faux Pas 시나리오에서 평가하여 표준 ToMi 스토리 외 일반화 능력을 테스트한다.

Figure 1: Given observations , current social reasoning tasks ask models questions targeting specific inferences (left). We propose T4D to probe whether LLMs can decide proper actions using theory-of-mind as a situated agent (right). They key challenges in T4D are 1) models have to identify relevant

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 사회적 상황에서 이론적 마음 상태 추론을 전략적 행동으로 번역할 수 있는가, 아니면 정확한 정서 상태 추론에도 불구하고 행동을 취하지 못하는가?
• RQ2 추론이 명시적으로 프롬프트되지 않은 경우, 특히 유추된 믿음에 기반해 행동을 선택할 때 LLM의 핵심 추론 격차는 무엇인가?
• RQ3 FaR와 같은 구조화된 추론 프레임워크는 이론적 마음 상태가 필요한 행동 선택 작업에서 제로샷 성능을 향상시키는가?
• RQ4 FaR는 Faux Pas나 다자간 상호작용과 같은 다양한 스토리 구조와 사회적 상황으로 일반화되는가?
• RQ5 FaR는 예측 성분의 품질에 얼마나 민감한가, 그리고 노이즈가 있는 입력이 성능을 떨어뜨리는가?

주요 결과

• GPT-4는 T4D 벤치마크에서 오직 50%의 정확도를 기록하며, 인간 성능(95% 이상의 일치)에 비해 심각한 격차를 보이며, 강력한 ToM 추론 능력에도 불구하고 행동 선택에서의 격차를 드러낸다.
• LLM의 주요 과제는 명시적인 프롬프트 없이도 정서 상태에 대한 관련 암묵적 추론을 식별하는 데 있으며, 이는 추론 자체의 문제는 아니다.
• FaR는 GPT-4의 T4D 성능을 50%에서 71%로 향상시키며, Chain-of-Thought, Self-Ask, Tree-of-Thought보다 뛰어난 성능을 기록한다.
• Ablation 연구 결과, Foresee 및 Reflect 구성 요소 모두 필수적이며, 각각 생략 시 성능이 17점과 12점씩 감소한다.
• FaR는 분포 외 스토리 구조(D1, D2, D3)로의 일반화에 효과적으로 작용하여, 모든 테스트된 모델과 스토리 유형에서 최고의 정확도를 기록한다.
• Faux Pas 시나리오에서는 FaR가 GPT-4로 76%의 정확도를 기록하며, 기준 방법들(예: Self-Ask는 43%)을 크게 앞서며, 새로운 사회적 추론 작업으로의 강력한 일반화 능력을 입증한다.

Figure 2: Task input comparison of ToMi that asks an inference question given observations and our converted T4D that requires models to choose an action