[論文レビュー] Rethinking Interpretability in the Era of Large Language Models

Chandan Singh, Jeevana Priya Inala+3 more|arXiv (Cornell University)|Jan 30, 2024

Natural Language Processing Techniques被引用数 41

ひとこと要約

この論文は、LLMsが自然言語による説明と対話的分析を可能にすることで解釈性を再定義できると主張し、同時にLLMベースの解釈とデータセット説明の機会、課題、研究優先事項を概説します。

ABSTRACT

Interpretable machine learning has exploded as an area of interest over the last decade, sparked by the rise of increasingly large datasets and deep neural networks. Simultaneously, large language models (LLMs) have demonstrated remarkable capabilities across a wide array of tasks, offering a chance to rethink opportunities in interpretable machine learning. Notably, the capability to explain in natural language allows LLMs to expand the scale and complexity of patterns that can be given to a human. However, these new capabilities raise new challenges, such as hallucinated explanations and immense computational costs. In this position paper, we start by reviewing existing methods to evaluate the emerging field of LLM interpretation (both interpreting LLMs and using LLMs for explanation). We contend that, despite their limitations, LLMs hold the opportunity to redefine interpretability with a more ambitious scope across many applications, including in auditing LLMs themselves. We highlight two emerging research priorities for LLM interpretation: using LLMs to directly analyze new datasets and to generate interactive explanations.

研究の動機と目的

• 大規模言語モデル（LLMs）とその説明能力の文脈で解釈性を再考する。
• 従来の事後的手法を超えて、LLMsがモデルの挙動とデータの両方を説明できるかを評価する。
• 対話的で自然言語の説明とデータ根拠付き推論の機会を特定する。
• 幻覚、計算コスト、LLMsへのアクセス制限といった課題を強調する。
• 新しいデータセットを分析するためにLLMsを用いることと対話的な説明を生成することという二つの新たな優先事項を提案する。

提案手法

• 既存のLLM解釈アプローチを調査し分類する（局所的 vs. 全局的/機械論的説明）。
• NLによる事後説明、思考の連鎖 prompting、retrieval-augmented generation (RAG) を含むLLM出力を説明する方法を評価する。
• 機械論的技法とデータセット説明技法を議論する。 probing、ニューロン/回路分析、訓練データ影響の分析を含む。
• 説明の評価を検討する：人間の研究と自動指標やバイアス配慮のバランス。
• 二つの実践的焦点を概説する：LLMsの監査とデータセットを説明するためのLLMsの利用。

実験結果

リサーチクエスチョン

• RQ1 LLMsはモデル予測とデータパターンを効果的かつ信頼性高く説明できるか？
• RQ2 LLMsは伝統的な説明可能性手法を超えた対話型・データセット根拠の説明の機会を提供するか？
• RQ3 幻覚、コスト、アクセス性など、堅牢なLLMベースの解釈を実現するために解決すべき課題は何か？
• RQ4 実世界の設定におけるLLM説明の効果的な評価戦略は何か？
• RQ5 データセットとモデル挙動を説明するためにLLMsを活用するための優先研究方向は何か？

主な発見

• LLMsは複雑なパターンやデータの関係をカバーできる自然言語による対話型説明を可能にする。
• 局所的な説明はトークン寄与度、注意機構の分析、事後NL説明を活用でき、思考の連鎖推定のような技術で忠実性を向上させる。
• 全体的/機械論的説明は表現を探求し、注意ヘッドを分析し、訓練データの影響を研究できるが、大規模モデルへのスケーリングは課題。
• LLMsを用いたデータセット説明は、GAMs、分類器の予測、データパターンを理解するためのプロンプトベースの連鎖を含む、表形式データとテキストデータの分析に役立つ。
• 説明の評価は現実世界の成果を考慮し、人間のパフォーマンスとの補完性を重視し、ユーザーの判断や自己申告の有用性のみに依存すべきではない。
• 将来の優先事項には、説明の信頼性向上、対話的説明の推進、データセットからの知識発見のためのLLMsの活用が含まれる。