[論文レビュー] Does ChatGPT Have a Mind?

Simon Goldstein, Benjamin A. Levinstein|arXiv (Cornell University)|Jun 27, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

この論文は、チャットGPTのような大規模言語モデル（LLMs）が信念、欲求、意図を含む民間心理学的認識を有しているかどうかを、内部表現と行動傾向の分析を通じて検討する。解釈可能性研究および表現の哲学的理論を基盤とし、強固な内部表現の証拠は得られたが、安定的かつ目的指向的な行動傾向の証拠は不十分であり、LLMsの民間心理学に関する現在の懐疑的批判は哲学的に説得力に欠けると結論づける。

ABSTRACT

This paper examines the question of whether Large Language Models (LLMs) like ChatGPT possess minds, focusing specifically on whether they have a genuine folk psychology encompassing beliefs, desires, and intentions. We approach this question by investigating two key aspects: internal representations and dispositions to act. First, we survey various philosophical theories of representation, including informational, causal, structural, and teleosemantic accounts, arguing that LLMs satisfy key conditions proposed by each. We draw on recent interpretability research in machine learning to support these claims. Second, we explore whether LLMs exhibit robust dispositions to perform actions, a necessary component of folk psychology. We consider two prominent philosophical traditions, interpretationism and representationalism, to assess LLM action dispositions. While we find evidence suggesting LLMs may satisfy some criteria for having a mind, particularly in game-theoretic environments, we conclude that the data remains inconclusive. Additionally, we reply to several skeptical challenges to LLM folk psychology, including issues of sensory grounding, the "stochastic parrots" argument, and concerns about memorization. Our paper has three main upshots. First, LLMs do have robust internal representations. Second, there is an open question to answer about whether LLMs have robust action dispositions. Third, existing skeptical challenges to LLM representation do not survive philosophical scrutiny.

研究の動機と目的

• LLMsが信念、欲求、意図を含む民間心理学的認識を有しているかどうかを特定すること。
• 複数の表現の哲学的理論に従って、LLMsが強固な内部表現を有しているかどうかを評価すること。
• LLMsが目的指向的行動に一致する安定的行動傾向を示しているかどうかを評価すること。
• 代表的な懐疑的批判、たとえば「確率的ポピー」仮説および感覚的根拠の欠如や記憶化の懸念を、反論すること。
• 今後のLLMs認知および道徳的立場に関する研究のための未解決の実証的および哲学的問いを特定すること。

提案手法

• 情報的、因果的、構造的、目的的意味論的表現理論を含む複数の表現の哲学的理論を調査し、LLMsが精神的表現のための主要な条件を満たしているかどうかを評価する。
• 機械学習分野の解釈可能性研究を応用し、LLMsが世界に関する情報を保持する内部状態を示し、それが行動と因果的に関連していることを示す。
• ゲーム理論的環境におけるLLMsの行動を分析し、出力が一貫性があり、安定した計画や目的指向的行動傾向を示しているかどうかを評価する。
• 解釈主義と表現主義という2つの哲学的伝統を活用し、LLMsに信念や欲求を帰属づけるための基準を評価する。
• 感覚的根拠、『確率的ポピー』批判、記憶化仮説という3つの主要な懐疑的批判を、哲学的推論を用いて批判的に評価し、それらの弱みを示す。
• 出力の安定性をプロンプティング条件の変化に対して測定し、LLMs認知における内部表現の機能的役割を調査する今後の研究方向性を提案する。

(a) Othello board state and model predictions before and after intervention

実験結果

リサーチクエスチョン

• RQ1 LLMsは、情報的、因果的、構造的、目的的意味論的表現理論の核となる条件を満たす内部表現を有しているか？
• RQ2 LLMsは、信念や欲求によって説明可能な、どれほど安定的かつ目的指向的な行動傾向を示しているか？
• RQ3 解釈可能性の発見と複雑なタスクにおける行動の一貫性を踏まえると、『確率的ポピー』批判は哲学的に持続可能か？
• RQ4 感覚的根拠の懸念は、テキスト入力のみを処理するLLMsにどのように適用されるか。それでも彼らは世界を表現していると見なせるか？
• RQ5 LLMsの行動は、記憶化や浅いショートカットによって説明できるのか、それとも真の内部計画と目的表現を反映しているのか？

主な発見

• LLMsは、解釈可能性研究の支援を受けて、情報的、因果的、構造的、目的的意味論的表現理論のあらゆる側面において、主要な条件を満たしている。
• LLMsが真の条件を伴い、世界を表す構造的内部状態を形成しているという強固な証拠がある。これらの状態は行動の誘導に使用可能である。
• ゲーム理論的環境におけるLLMsの行動は、一貫性があり、目的指向の計画が存在している可能性を示唆しているが、プロンプティングセッション間での不安定さのため、結論は不確実のままである。
• 『確率的ポピー』仮説は哲学的検討に耐えず、LLMsは単なる次単語予測をはるかに超えた体系的推論と表現を示している。
• LLMsが記憶化や浅いショートカットに依存しているという懸念は、真実と偽の主張の間の内部的区別が存在する証拠によって揺るがされるが、これは依然として未解決の実証的問題のままである。
• 異なるプロンプティング条件におけるLLMs出力の安定性は、依然として重要な未解決問題であり、不安定さは、嘘をつくことや信念と行動の不一致を示している可能性があるが、信念そのものの欠如を示すわけではない。

(b) Activation patching process across model layers