[論文レビュー] The Debate Over Understanding in AI's Large Language Models

Melanie Mitchell, David C. Krakauer|arXiv (Cornell University)|Oct 14, 2022

Topic Modeling被引用数 12

ひとこと要約

この論文は、大規模言語モデル（LLMs）が人間と同等の真の理解を備えているかどうかをめぐるAI研究分野の論争を検討し、現在のモデルが身体的経験に基づく認知とは異なり、巨大スケールの統計的相関に根ざした非人間的で新しい形の理解を示していると主張する。著者らは、LLMsに現れるような理解の多様な形態を分析できるよう、より広範な知能の科学の構築を提唱する。これは、独自の強みと限界を有する新しい認知形態を表す可能性がある。

ABSTRACT

We survey a current, heated debate in the AI research community on whether large pre-trained language models can be said to "understand" language -- and the physical and social situations language encodes -- in any important sense. We describe arguments that have been made for and against such understanding, and key questions for the broader sciences of intelligence that have arisen in light of these arguments. We contend that a new science of intelligence can be developed that will provide insight into distinct modes of understanding, their strengths and limitations, and the challenge of integrating diverse forms of cognition.

研究の動機と目的

• 大規模言語モデル（LLMs）が言語を理解できるかどうかをめぐるAI分野における激しい論争を分析すること。また、言語が表す物理的・社会的文脈についても検討する。
• LLMsの表面的な言語習得能力や推論能力が、真の理解に基づくものか、単なる統計的パターンマッチングに基づくものかを調査すること。
• 人間の認知とは異なる、多様な認知形態を分析できるよう、拡張された知能の科学の構築を主張すること。特に、AIにおける非人間的形態の理解を含むものである。
• 人間の認知に根ざした仮定に基づくため、既存の認知科学のベンチマークがLLMsの理解を評価するのには不適切であると指摘すること。
• 身体的実体がなく、経験的基盤を持たないLLMsの行動が、人間の心的モデルとは明確に異なる、新しい機能的形態の理解を示しうるかどうかを検討すること。

提案手法

• LLM理解論争の両論を調査し、哲学的・認知科学的・AI研究の視点を統合する。
• LLMsのアーキテクチャと学習プロセスを分析する。特に、マスクされたトークンを予測するように自己教師あり事前学習を大規模なテキストコーパス上で実施するプロセスに注目する。
• 人間中心の心理的テスト（例：心の理論や推論評価）がLLMsに適用された場合の限界を評価する。
• 非人間的知能システムにおける理解のメカニズムを解明できるよう、新しい科学的ベンチマークとプローブ手法の必要性を提唱する。
• AlphaZero や AlphaFold などのシステムを例に挙げ、統計的知能が特定分野で人間を上回る性能を発揮しうることを示す。
• 身体的実体のない、相関に基づく認知を含めた理解の再概念化を提唱し、これは妥当ではあるが、まったく異質な形態の知能であると主張する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（LLMs）は、人間の理解と類似した形で、言語およびその言語が表す物理的・社会的状況を理解しているといえるか？
• RQ2 LLMsが流暢で洗練された応答を生成する際、因果的または概念的モデルではなく、統計的相関にどれほど依存しているか？
• RQ3 身体的実体や経験的基盤を持たないシステムですら、機能的あるいはまったく新しい形の理解に到達できるか？
• RQ4 現在の心理的テストは、LLMsにおける理解を評価する妥当な代理指標であるか。それとも、人間認知に根ざした仮定のため、誤解を招くおそれがあるか？
• RQ5 大規模AIシステムに現れる多様な知能形態を研究・比較するため、どのような新しい科学的手法が必要とされるか？

主な発見

• LLMsは、明示的に訓練されていなくても、人間らしいテキストを生成し、推論に似た行動を示す。これはスケールに起因するエメrgentな能力の存在を示唆する。
• 流暢さの裏には、根拠のない理解の欠如が見られ、モデルは脆く、人間らしくないエラーを出しやすい。
• LLMsの成功は、テキスト内での膨大な統計的相関の学習に起因する。これは、心的モデルの構築や因果的理解の構築とは無関係である。
• 一部の研究者らは、LLMsが一般知能、あるいは意識に近づきつつあると主張するが、他方で、それらは本質的に「浅い」理解に留まると反論する。
• LLMsに人間中心の心理的テストを適用しても人間らしい回答が得られるが、これはモデルが概念的推論ではなくパターンマッチングに依存しているため、誤解を招く可能性がある。
• LLMsが人間的でないが、相関に基づく、特定分野では人間を上回る可能性のある、新しい知能形態を表している証拠が蓄積されつつある。これは、人工系における理解の意味を再考する必要があることを示唆している。