[論文レビュー] Understanding Artificial Theory of Mind: Perturbed Tasks and Reasoning in Large Language Models

Christian H. Nickel, Laura Schrewe+2 more|arXiv (Cornell University)|Feb 25, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

この論文は大規模言語モデルにおける人工的理論的心の研究を、摂動付きタスクと推論を用いて行い、手書きデータセットとルールベースのサブタスクを用いてToM様の推論を評価しつつ、倫理的配慮と二重用途リスクを論じる。

ABSTRACT

Theory of Mind (ToM) refers to an agent's ability to model the internal states of others. Contributing to the debate whether large language models (LLMs) exhibit genuine ToM capabilities, our study investigates their ToM robustness using perturbations on false-belief tasks and examines the potential of Chain-of-Thought prompting (CoT) to enhance performance and explain the LLM's decision. We introduce a handcrafted, richly annotated ToM dataset, including classic and perturbed false belief tasks, the corresponding spaces of valid reasoning chains for correct task completion, subsequent reasoning faithfulness, task solutions, and propose metrics to evaluate reasoning chain correctness and to what extent final answers are faithful to reasoning traces of the generated CoT. We show a steep drop in ToM capabilities under task perturbation for all evaluated LLMs, questioning the notion of any robust form of ToM being present. While CoT prompting improves the ToM performance overall in a faithful manner, it surprisingly degrades accuracy for some perturbation classes, indicating that selective application is necessary.

研究の動機と目的

• 大規模言語モデル（LLMs）における人工的理論的心（ToM）を研究する動機づけ。
• ToM推論を探査するための手書きデータセットとルールベースのサブタスクを開発・活用。
• LLMsにおけるToM様の性能に対する摂動の影響を調査。
• ToM型評価における倫理的配慮、リスク、およびプライバシーへの影響を検討。

提案手法

• 倫理的で統制されたベンチマークとして手書きデータセットを作成（クラウドソーシング労働を用いない）。
• ルールベースのテンプレート展開を用いてサブタスクを生成（kosinskiTheoryMindMight2023に基づく拡張）。
• LLMsのToM推論の頑健性を調べるための摂動タスク variante を設計。
• 構築したベンチマークを用いてLLMsに対する計算実験を実施。
• ToM型推論に関する二重用途リスクとプライバシー配慮を論じる。

実験結果

リサーチクエスチョン

• RQ1 摂動タスクで人工的理論心推論をLLMsはどのように行うか。
• RQ2 タスク摂動がLLMsのToM様性能に与える影響は何か。
• RQ3 データセット設計（手書き、テンプレートベースのサブタスク）がToM能力の評価にどう影響するか。
• RQ4 LLMsのToM型評価における倫理、安全性、プライバシーに関する懸念は何か。

主な発見

• 本研究はLLMsにおけるToM評価の手書きベンチマークを提供し、推論を探るために用いたタスク摂動を記述している。
• 本研究はToM型推論タスクにおける二重用途リスク、潜在的な偏りの増幅、プライバシー配慮を論じている。
• データセット構築と実験設定は倫理的かつ非クラウドソースであると述べられており、ベンチマーク設計の先行研究への参照がある。