[論文レビュー] Towards Uncovering How Large Language Model Works: An Explainability Perspective

Haiyan Zhao, Fan Yang+3 more|arXiv (Cornell University)|Feb 16, 2024

Natural Language Processing Techniques被引用数 8

ひとこと要約

本論文はLLMsの全体的解釈可能性を概観し、機械的解釈可能性（ボトムアップ）と表現工学（トップダウン）を組み合わせて、倫理的で正直かつ信頼できる整合性を支える。

ABSTRACT

Large language models (LLMs) have led to breakthroughs in language tasks, yet the internal mechanisms that enable their remarkable generalization and reasoning abilities remain opaque. This lack of transparency presents challenges such as hallucinations, toxicity, and misalignment with human values, hindering the safe and beneficial deployment of LLMs. This paper aims to uncover the mechanisms underlying LLM functionality through the lens of explainability. First, we review how knowledge is architecturally composed within LLMs and encoded in their internal parameters via mechanistic interpretability techniques. Then, we summarize how knowledge is embedded in LLM representations by leveraging probing techniques and representation engineering. Additionally, we investigate the training dynamics through a mechanistic perspective to explain phenomena such as grokking and memorization. Lastly, we explore how the insights gained from these explanations can enhance LLM performance through model editing, improve efficiency through pruning, and better align with human values.

研究の動機と目的

• LLMsを理解するための二つの補完的な見方として、機械的解釈可能性と表現工学の体系的な概説を提供する。
• これらのアプローチが、人間の価値観とLLMsの倫理的で正直かつ信頼できる整合性の向上にどう寄与できるかを論じる。
• これらの技術を用いたより良いモデル統治のための制限、適用、未解決の課題を浮き彫りにする。

提案手法

• LLMsの回路と訓練動態の事後的・全体的・モデル特異的（ホワイトボックス）分析として機械的解釈可能性を説明する。
• 隠れた表現と埋め込みを分析するためのプロービングベースのアプローチとして表現工学を説明し、教師なし・教師ありの手法を含む。
• 偏見・有害性・不正行為を検出し、整合性介入を導くための両パラダイムの応用を要約する。
• 理論の検証、高次元性、および回路の評価を含む限界と今後の課題について論じる。

Figure 1: Two views on holistic interpretability: (i) Bottom-up view of mechanistic interpretability and (ii) Top-down view of representation engineering.

実験結果

リサーチクエスチョン

• RQ1 LLMsにおける機械的解釈可能性と表現工学の主要な手法と概念は何か？
• RQ2 これらのアプローチは、LLMsを人間の価値観に整合させ、偏見・不正直さ・幻覚といった害を減らすことにどう寄与できるか？
• RQ3 現実世界のLLMsにこれらの手法を適用する際の制限と未解決の課題は何か？
• RQ4 これら二つの視点は、全体的解釈可能性を進展させるうえでどう補完し合うか？
• RQ5 これらの手法を用いたLLMの整合性のための実践的な適用例は何が示されているか？

主な発見

• 機械的解釈可能性は、回路、ニューロン、訓練動態に焦点を当て、モデルの挙動を説明するグローバルで事後的なホワイトボックス視点を提供する。
• 表現工学は、埋め込み空間と因果表現に関するマクロ尺度の洞察を、プロービング手法を通じて提供する。
• 応用には、偏見のあるまたは不正直なアテンションヘッドの局在化や、微調整中に学習され、安全性の挙動に影響を与えるラッピング（wrappers）の特定が含まれる。
• 両アプローチは、偏見の検出と整合性向上のための手順を知らせる初期的な有用性を示しているが、全ての偏見の根本原因を完全には解明しない。
• 本論文は、理論の検証、次元の呪い、回路レベルの説明の評価を含むいくつかの研究課題を概説している。