[論文レビュー] Language-Specific Representation of Emotion-Concept Knowledge Causally Supports Emotion Inference

Ming Li, Yu-Sheng Su+10 more|arXiv (Cornell University)|Feb 19, 2023

Misinformation and Its Impacts被引用数 5

ひとこと要約

本研究は、大規模言語モデル（LLMs）が、感覚運動的基盤なしに、感情概念知識の言語特異的表現を因果的に活用して、新しい状況における感情を推論できることを示している。14の異なる感情属性ニューロンを同定・操作することで、著者らは、これらの言語由来の表現が正確な感情推論に不可欠であることを示し、言語的知識のみでAIが複雑な感情的推論を可能にできることの証拠を提供している。

ABSTRACT

Humans no doubt use language to communicate about their emotional experiences, but does language in turn help humans understand emotions, or is language just a vehicle of communication? This study used a form of artificial intelligence (AI) known as large language models (LLMs) to assess whether language-based representations of emotion causally contribute to the AI's ability to generate inferences about the emotional meaning of novel situations. Fourteen attributes of human emotion concept representation were found to be represented by the LLM's distinct artificial neuron populations. By manipulating these attribute-related neurons, we in turn demonstrated the role of emotion concept knowledge in generative emotion inference. The attribute-specific performance deterioration was related to the importance of different attributes in human mental space. Our findings provide a proof-in-concept that even a LLM can learn about emotions in the absence of sensory-motor representations and highlight the contribution of language-derived emotion-concept knowledge for emotion inference.

研究の動機と目的

• 大規模言語モデルにおける感情概念の言語ベースの表現が、因果的に感情推論を支援するかどうかを調査すること。
• LLMsにエンコードされた感情概念知識が、人間の感情の特定の心理的属性の周囲に構造化されているかどうかを特定すること。
• 属性固有の表現を操作することで、個々のニューロン集団が感情推論に果たす因果的役割を評価すること。
• 異なる感情属性が人間の心的空間において果たす相対的重要性が、それらの属性を摂動させた際の性能低下とどの程度相関するかを評価すること。

提案手法

• 研究者たちは、感情の価値、覚醒度、社会的文脈などの、人間の感情概念の特定の属性を表す14の異なる人工ニューロン集団を、大規模言語モデル内で同定した。
• 活性化操作技術を用い、これらの属性固有のニューロンの活動を意図的に無効化または変更することで、感情推論に与える因果的影響をテストした。
• モデルには新しい感情的状況が提示され、ニューロン操作の前後で生成された感情推論の正確さが評価された。
• 性能低下を、異なる感情属性ごとに測定し、モデルの推論プロセスにおける相対的重要性を評価した。
• モデルが感情的意味を人間がアノテートした感情概念構造にどの程度割り当てるかを比較することで、学習済み表現の心理的妥当性を検証した。
• 各感情属性が最終的な推論出力に寄与する割合を分離するための因果分析フレームワークを適用した。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルにおける感情概念の言語特異的表現が、新しい状況における感情推論を因果的に支援できるか？
• RQ2 人間の感情概念のどの特定の属性がLLMsの内部表現にエンコードされているか？
• RQ3 個々の感情属性ニューロンの摂動が、モデルの感情推論能力にどのように影響するか？
• RQ4 モデルの推論における感情属性の相対的重要性が、人間認知におけるそれらの心理的意義とどの程度一致するか？
• RQ5 LLMsは感覚運動的または知覚的表現に依存せずに、正確な感情推論を実行できるか？

主な発見

• LLM内に、価値、覚醒度、社会的文脈などの、人間の感情概念の特定の属性を表す14の異なる人工ニューロン集団が存在することが判明した。
• これらの属性固有のニューロンの選択的操作により、感情推論における測定可能で予測可能な性能低下が生じ、因果的役割の確認がされた。
• 性能低下の程度が、人間の感情表現における各属性の心理的重要性と強く相関しており、人間の心的モデルと整合していることが示された。
• モデルは、感覚運動的基盤なしに、言語的知識のみに依拠して、新しい状況における正確な感情推論を示した。
• 本研究は、言語由来の感情概念知識のみで、人工知能における複雑な感情的推論が可能であることを証明する概念実証を提供した。
• 結果から、LLMsは人間の認知的組織様式を模倣するように、構造化された感情概念知識を内部化・利用できる可能性があることが示唆された。