[論文レビュー] From Understanding to Utilization: A Survey on Explainability for Large Language Models

Haoyan Luo, Lucia Specia|arXiv (Cornell University)|Jan 23, 2024

Topic Modeling被引用数 14

ひとこと要約

この調査は事前学習済みの Transformer ベースの LLM の explainability 方法をレビューし、局所/グローバル分析を分類し、説明が信頼性、編集、および整合性をどのように向上させるかを概説します。評価方法と今後の方向性にも触れます。

ABSTRACT

Explainability for Large Language Models (LLMs) is a critical yet challenging aspect of natural language processing. As LLMs are increasingly integral to diverse applications, their "black-box" nature sparks significant concerns regarding transparency and ethical use. This survey underscores the imperative for increased explainability in LLMs, delving into both the research on explainability and the various methodologies and tasks that utilize an understanding of these models. Our focus is primarily on pre-trained Transformer-based LLMs, such as LLaMA family, which pose distinctive interpretability challenges due to their scale and complexity. In terms of existing methods, we classify them into local and global analyses, based on their explanatory objectives. When considering the utilization of explainability, we explore several compelling methods that concentrate on model editing, control generation, and model enhancement. Additionally, we examine representative evaluation metrics and datasets, elucidating their advantages and limitations. Our goal is to reconcile theoretical and empirical understanding with practical implementation, proposing exciting avenues for explanatory techniques and their applications in the LLMs era.

研究の動機と目的

• 透明性、信頼、倫理的懸念のために大規模言語モデルの explainability の必要性を動機づける。
• LLM における局所およびグローバル分析に既存の explainability アプローチを分類する。
• 説明可能性をモデル編集、能力強化、制御生成の応用に適用する。
• 説明の品質と有用性を評価する指標とデータセットを強調する。
• LLM の explainability における理論と実践を橋渡しする未解決の問題と今後の方向性を特定する。

提案手法

• Explainability methods を Local Analysis（特徴寄与、トランスフォーマー部品分析）と Global Analysis（プロービング、機械的解釈可能性）に分類する。
• 局所的手法を説明する：摂動/勾配/ベクトルベースの寄与、統合勾配、アテンションベースの分析、FFN/分解技術。
• 全球的手法を説明する：知識/表現のプロービングと機械的解釈可能性（回路発見、因果追跡、語彙レンズを含む）。
• 説明がモデル編集、長文利用、In-Context Learning（ICL）の改善にどのように活用できるかを概説する。
• 説明の妥当性とモデル出力の真実性を含む評価戦略を概説する。ZsRE や CounterFact、TruthfulQA の指標などのデータセットを含む。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み Transformer-based LLM に適用可能な explainability 手法は何で、それらは範囲と粒度でどのように異なるか。
• RQ2 局所および全球の説明をどのように活用してモデルの透明性、信頼性、下流タスクの性能を向上させられるか。
• RQ3 LLM の説明の品質と有用性を効果的に評価する戦略とデータセットはどれか。
• RQ4 説明可能性はモデル編集、長文利用、制御可能な生成にどのようにガイドできるか。
• RQ5 LLM の explainability における未解決の課題と今後の研究方向は何か。

主な発見

• 局所分析手法には、トークンレベルの予測を解釈するための特徴寄与、勾配ベース、ベクトルベースのアプローチが含まれる。
• 全球分析には、プロービングベースの技法と回路発見・因果追跡などの機械的解釈可能性のアプローチが含まれる。
• 説明可能性はモデル編集（locate-then-edit）を知らせ、長文利用や In-Context Learning のようなタスクの改善に寄与できる。
• 説明の評価は、妥当性、真実性、有用性に依存し、ZsRE、CounterFact、TruthfulQA のようなデータセットを用いる。
• 本調査は現在の手法の限界を特定し、信頼できる整合性のある LLM に向けた今後の研究方向を概説する。