[論文レビュー] A Philosophical Introduction to Language Models - Part II: The Way Forward

Raphaël Millière, Cameron Buckner|arXiv (Cornell University)|May 6, 2024

Natural Language Processing Techniques被引用数 9

ひとこと要約

この論文は、振る舞いを超えたLLMの理解、機械的説明可能性、介入手法、マルチモダリティ、意識論争、再現性が認知モデリングに与える影響に焦点を当てて、LLMを理解する方法を分析します。

ABSTRACT

In this paper, the second of two companion pieces, we explore novel philosophical questions raised by recent progress in large language models (LLMs) that go beyond the classical debates covered in the first part. We focus particularly on issues related to interpretability, examining evidence from causal intervention methods about the nature of LLMs' internal representations and computations. We also discuss the implications of multimodal and modular extensions of LLMs, recent debates about whether such systems may meet minimal criteria for consciousness, and concerns about secrecy and reproducibility in LLM research. Finally, we discuss whether LLM-like systems may be relevant to modeling aspects of human cognition, if their architectural characteristics and learning scenario are adequately constrained.

研究の動機と目的

• 内部機構を行動パフォーマンスを超えて理解できるかを評価する。
• 介入主義・機械的手法を用いてLLMの因果構造を明らかにする。
• マルチモーダル、モジュール的拡張、エージェンシー、意識、秘匿性、再現性の問題を論じる。
• 制約付き学習環境下での人間・動物の認知モデリングへのLLM風アーキテクチャの関連性を検討する。

提案手法

• LLM内部を解釈するための probing、 attribution、 causal intervention アプローチをレビュー・統合する。
• 内部部品の因果寄与を特定するためのアブレーションとターゲット介入を説明する。
• モデルの挙動におけるター情報の因果関与を検証する手法として iterative nullspace projection を説明する。
• 機械的解釈可能性を、解釈可能な特徴と回路への神経ネットワークのリバースエンジニアリングとして定義する。
• アルゴリズムレベルの説明と、LLMs の理解における計算グラフの役割を論じる。

Figure 1: Iterative nullspace projection . Given the representation $\vec{h_{i}}$ of a masked word in layer $i$ of a Transformer model, a probe is trained to predict relative clause boundaries. The probe’s nullspace, which encodes information not relevant to relative clause boundaries, is identified

実験結果

リサーチクエスチョン

• RQ1 出力行動を超える内部機構の理解にはどの程度の範囲と限界が存在するか？
• RQ2 介入は言語モデルの計算における内部表現の因果的役割をどう暴露できるか？
• RQ3 マルチモダリティ、エージェンシー、潜在的な意識がLLMsに与える影響は？
• RQ4 LLM研究における秘密性と再現性の懸念は？
• RQ5 制約された学習環境下で、LLM風のシステムは人間や動物の認知の特定の側面の有用なモデルを提供できるか？

主な発見

• ベンチマークの限界（飽和、ゲーム化、汚染、構成妥当性）は、LLMの能力を信頼性高く評価することを妨げる。
• 探査（probing）だけでは因果的な役割を確立できず、表現が挙動に影響を与えることを示す介入が必要。
• アブレーションや iterative nullspace projection のような介入手法は、内部情報の因果関与を示すことができる。
• 機械的解釈可能性は、ネットワークを特徴と回路の階層にマッピングし、段階的な計算説明を可能にする。
• 分散表現と重ね合わせは、帰属とアブレーションを難しくし、より高度な因果介入を促す。
• アルゴリズムレベルと回路レベルの説明は、入力が出力へどのように変換されるかを説明する道を提供する。

Figure 2: The residual stream view of the Transformer. Each input token is first embedded into a dense vector representation and combined with a positional encoding injecting information about their position in the input sequence. This forms the initial state of the "residual stream" (depicted by th