[論文レビュー] Does Conceptual Representation Require Embodiment? Insights From Large Language Models

Qihui Xu, Yingying Peng+4 more|arXiv (Cornell University)|May 30, 2023

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本研究は、感情、顕著性、心的視覚化、感覚、運動的経験の5つの次元において、4,442の語彙的概念について人間と大規模言語モデル（GPT-3.5およびGPT-4）の評価を比較することで、言語のみで豊かな概念的表象を支えることができるかを調査している。その結果、LLMは感覚的・運動的でない領域では人間と良好に一致するが、感覚的および運動的領域では、特にGPT-4の視覚入力によるマルチモーダル訓練が顕著に性能を向上させることを示しており、言語のみでは得られない身体的経験が概念的表象の質を高めることを示唆している。

ABSTRACT

To what extent can language alone give rise to complex concepts, or is embodied experience essential? Recent advancements in large language models (LLMs) offer fresh perspectives on this question. Although LLMs are trained on restricted modalities, they exhibit human-like performance in diverse psychological tasks. Our study compared representations of 4,442 lexical concepts between humans and ChatGPTs (GPT-3.5 and GPT-4) across multiple dimensions, including five key domains: emotion, salience, mental visualization, sensory, and motor experience. We identify two main findings: 1) Both models strongly align with human representations in non-sensorimotor domains but lag in sensory and motor areas, with GPT-4 outperforming GPT-3.5; 2) GPT-4's gains are associated with its additional visual learning, which also appears to benefit related dimensions like haptics and imageability. These results highlight the limitations of language in isolation, and that the integration of diverse modalities of inputs leads to a more human-like conceptual representation.

研究の動機と目的

• 言語のみで人間と同等の概念的表象を形成できるのか、あるいは身体的感覚的・運動的経験が不可欠なのかを調査すること。
• GPT-3.5やGPT-4のような大規模言語モデル（LLM）が、複数の心理言語的次元にわたり、どの程度人間の概念的表象を模倣できるかを評価すること。
• マルチモーダル訓練（例：GPT-4における視覚入力）が、LLMが生成する概念的表象の質と人間らしさに与える影響を評価すること。
• 小規模な語彙プールや狭い概念的カバレッジといった、従来の人間ベースの研究の限界を、4,442語の多次元的大規模データセットを用いることで是正すること。
• 人間の心理言語的規範と照らし合わせてLLMの応答を比較することで、LLMを認知的モデルとして有効に活用できるかを検証すること。

提案手法

• 感情、顕著性、心的視覚化、感覚、運動的経験の5つの心理言語的次元について、4,442の一般的な語彙的概念に対してグレートリン・ノームおよびランカスター・ノームから得た人間の評価を収集した。
• モデルの自己言及を避けるために「あなた」を「人間」に置き換えつつ、意味的整合性を保つように、LLMの応答を人間経験のようになるようプロンプトを調整した。
• 身体部位などの視覚的刺激のテキスト記述を用いて、GPT-3.5とGPT-4が人間参加者と同一の入力を処理できるようにし、GPT-3.5が視覚入力を欠いていることの補填を行った。
• 人間同士、人間-LLM（GPT-3.5およびGPT-4）、LLM同士のペアワイズスピアマン順位相関を計算し、各次元における整合性を評価した。
• 信頼性のある比較のため、50件以上の重複語彙評価を満たす基準を用い、複数の参加者ペアおよびモデル実行の相関分布を集約して、妥当性を確保した。
• 特に感覚的および運動的領域において、GPT-3.5とGPT-4の整合性の差を分析し、視覚的訓練が概念的表象に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 言語のみで、大規模言語モデルが人間と同等の概念的表象をどの程度サポートできるか。
• RQ2 視覚入力を持つGPT-4のようなマルチモーダルモデルと、テキストのみのモデル（GPT-3.5）とを比較した場合、概念的表象の質にどのような差が生じるか。
• RQ3 感情、顕著性、心的視覚化、感覚、運動的経験の心理言語的次元の中で、LLMが人間の表象と最も一致するのはどの分野か。
• RQ4 GPT-4に視覚入力が統合されたことで、視覚的領域だけでなく、触覚的およびイメージ性（imageability）といった関連分野でも改善が見られるか。
• RQ5 人間の心理言語的規範と照らし合わせて検証された場合、LLMは概念的表象を研究するための有効な認知的モデルとして機能できるか。

主な発見

• GPT-4はGPT-3.5に比べて、特に感覚的および運動的経験の分野で人間の概念的表象と顕著に高い整合性を示している。
• GPT-3.5およびGPT-4の両者とも、感情や顕著性といった感覚的・運動的でない領域で人間と強い整合性を示しており、言語のみで抽象的で感情的な概念的知識を支えることができることを示している。
• GPT-3.5とGPT-4の感覚的および運動的次元における性能格差は、GPT-4の追加的な視覚的訓練に直接関連しており、身体的経験を模倣する能力の向上を示している。
• GPT-4の視覚的学習は、触覚的およびイメージ性といった関連分野の質の向上にも寄与しており、マルチモーダル入力がより包括的かつ人間らしい概念的表象を生み出すことを示唆している。
• 言語のみでは、豊かな感覚的および運動的表象を形成することは不十分であり、身体的経験が完全な概念的理解を形成する上で不可欠であることを裏付けている。
• 言語的訓練を受けたにもかかわらず、LLMのGPT-3.5やGPT-4は人間の評価と測定可能な整合性を示しており、適切にプロンプトを設定し検証された場合、認知的モデルとしての有効性が裏付けられている。