[논문 리뷰] Neural Theory-of-Mind? On the Limits of Social Intelligence in Large LMs

Maarten Sap, Ronan LeBras외 2명|arXiv (Cornell University)|2022. 10. 24.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 GPT-3와 같은 대규모 언어 모델(Large Language Models, LLMs)이 사회적 의도, 감정, 그리고 오해된 믿음에 대해 추론할 수 있는 신경학적 마음의 이론(Theory of Mind, ToM)을 보이는지 조사한다. SocialIQa 및 ToMi 벤치마크를 사용하여 분석한 결과, GPT-3는 각각 55%와 60%의 정확도를 기록했으며, 이는 인간 수준에 훨씬 못 미치는 성능이다. 이는 규모가 증가하더라도 데이터, 아키텍처, 학습 프레임워크의 제약으로 인해 사회지능에 근본적인 한계가 있음을 시사한다.

ABSTRACT

Social intelligence and Theory of Mind (ToM), i.e., the ability to reason about the different mental states, intents, and reactions of all people involved, allow humans to effectively navigate and understand everyday social interactions. As NLP systems are used in increasingly complex social situations, their ability to grasp social dynamics becomes crucial. In this work, we examine the open question of social intelligence and Theory of Mind in modern NLP systems from an empirical and theory-based perspective. We show that one of today's largest language models (GPT-3; Brown et al., 2020) lacks this kind of social intelligence out-of-the box, using two tasks: SocialIQa (Sap et al., 2019), which measures models' ability to understand intents and reactions of participants of social interactions, and ToMi (Le et al., 2019), which measures whether models can infer mental states and realities of participants of situations. Our results show that models struggle substantially at these Theory of Mind tasks, with well-below-human accuracies of 55% and 60% on SocialIQa and ToMi, respectively. To conclude, we draw on theories from pragmatics to contextualize this shortcoming of large language models, by examining the limitations stemming from their data, neural architecture, and training paradigms. Challenging the prevalent narrative that only scale is needed, we posit that person-centric NLP approaches might be more effective towards neural Theory of Mind. In our updated version, we also analyze newer instruction tuned and RLFH models for neural ToM. We find that even ChatGPT and GPT-4 do not display emergent Theory of Mind; strikingly even GPT-4 performs only 60% accuracy on the ToMi questions related to mental states and realities.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 실제 사회적 추론 과제에서 사회지능과 마음의 이론(Theory of Mind, ToM) 능력을 보이는지 평가하는 것.
• GPT-3와 GPT-3.5, GPT-4와 같은 최신 모델들이 사회공통지식 및 정서 상태 추론을 측정하는 두 가지 벤치마크 과제에서 성능을 평가하는 것.
• 학습 데이터, 신경망 아키텍처, 학습 프레임워크 분석을 통해 LLMs의 ToM 과제에서의 열악한 성능의 근본 원인을 규명하는 것.
• 모델 규모 증가만으로도 신경학적 마음의 이론이 도출된다는 일반적인 주장에 도전하며, 대신 개인 중심적이고 상호작용 기반의 학습 접근 방식을 제안하는 것.
• 현재 LLMs가 피지컬 편집 및 강화 학습을 거친 후에도 견고한 사회지능을 갖추지 못하고 있음을 경험적으로 입증하고, 평가 시 데이터 오염의 위험을 경고하는 것.

제안 방법

• SocialIQa 벤치마크에서 사회적 의도, 감정, 반응에 대한 추론 능력을 측정하는 GPT-3와 최신 지시 편집/RLHF 모델(예: GPT-3.5-Turbo, GPT-4)을 평가한다.
• 다양한 탐색 방법을 적용: 제로샷 프롬프팅, 피셔샷 프롬프팅, 다중 선택 프롬프팅을 통해 다양한 프롬프팅 전략에서의 모델 성능을 평가한다.
• Sally-Ann 오해된 믿음 테스트를 모델로 삼은 ToMi 벤치마크에서 다른 이들의 정서 상태와 현실에 대한 추론 능력을 측정한다.
• 주인공 대비 보조 참가자에 대한 질문 유형 간 성능 차이를 분석하여 주목적 또는 주의 편향을 탐지한다.
• 통계 분석을 통해 랜덤 추측(33%)과 인간 성능(ToMi에서 90–100%, SocialIQa에서 85% 이상)과의 성능을 비교한다.
• GPT-4의 학습 데이터가 SocialIQa 및 ToMi 테스트 예제를 포함했을 가능성으로 인해 데이터 泄露 위험이 있음을 지적하며, 높은 성능 주장의 타당성을 의심한다.

실험 결과

연구 질문

• RQ1 GPT-3와 같은 대규모 언어 모델이 일상적인 상호작용에서 사회적 의도와 정서 반응에 대해 어느 정도 추론할 수 있는가?
• RQ2 ToMi 벤치마크로 측정했을 때 LLMs는 다른 이들의 정서 상태와 오해된 믿음을 정확히 추론할 수 있는가?
• RQ3 지시 편집 또는 인간 피드백을 통한 강화 학습은 표준 언어 모델링 대비 LLMs의 사회적 추론 능력을 향상시키는가?
• RQ4 LLMs가 인간 수준의 마음의 이론을 달성하지 못하는 데 있어 주요한 제약 요소는 데이터, 아키텍처, 학습 프레임워크 중 무엇인가?
• RQ5 GPT-3.5와 GPT-4와 같은 최신 모델에서 관찰된 성능 향상은 진정한 추론 능력의 향상인지, 아니면 벤치마크 데이터셋에서의 데이터 오염 때문인가?

주요 결과

• GPT-3는 사회공통지식과 정서지능을 측정하는 SocialIQa 벤치마크에서 오직 55%의 정확도를 기록했으며, 인간 성능보다 30% 이상 뒤처진다.
• 정서 상태와 오해된 믿음에 대한 추론을 테스트하는 ToMi 벤치마크에서 GPT-3는 60%의 정확도를 기록했으며, 이는 랜덤 추측(33%)보다 10% 뿐 높은 성능이지만, 인간의 90–100% 수준에는 훨씬 못 미친다.
• 지시 편집 및 RLHF로 보정된 모델(예: GPT-3.5-RLHF)은 SocialIQa에서 성능을 55%까지 향상시켰지만, 여전히 인간 수준의 추론 능력에 못 미친다.
• GPT-4는 SocialIQa에서 79.3%의 성능을 기록했으며, 인간 성능에 10% 내외로 수렴했지만, 이는 학습 데이터셋에서의 잠재적 데이터 泄露로 인해 과대평가되었을 가능성 있다.
• ToMi에서 GPT-3.5-Turbo는 정서 상태 질문에서 60%의 정확도를 기록했으며, GPT-4(59%)보다 略로 높은 성능을 보였고, 이는 이 과제에서 규모 증가에 따른 일관된 향상이 없음을 시사한다.
• 모든 모델이 주인공이 아닌 보조 캐릭터에 대한 질문에서 주인공에 비해 유의미하게 떨어지는 성능을 보였으며, 이는 추론에서 지속적인 주목적 또는 중심화 편향이 있음을 시사한다.