[論文レビュー] Usable XAI: 10 Strategies Towards Exploiting Explainability in the LLM Era

Xuansheng Wu, Haiyan Zhao+10 more|arXiv (Cornell University)|Mar 13, 2024

Scientific Computing and Data Management被引用数 18

ひとこと要約

本論文は大規模言語モデル（LLMs）における使えるXAIを定義し、説明を用いてLLMsを改善し、LLMsがXAIを強化することを可能にする10の戦略を提案する。これらはケーススタディとオープンソースコードで裏付けられている。

ABSTRACT

Explainable AI (XAI) refers to techniques that provide human-understandable insights into the workings of AI models. Recently, the focus of XAI is being extended toward explaining Large Language Models (LLMs). This extension calls for a significant transformation in the XAI methodologies for two reasons. First, many existing XAI methods cannot be directly applied to LLMs due to their complexity and advanced capabilities. Second, as LLMs are increasingly deployed in diverse applications, the role of XAI shifts from merely opening the ``black box'' to actively enhancing the productivity and applicability of LLMs in real-world settings. Meanwhile, the conversation and generation abilities of LLMs can reciprocally enhance XAI. Therefore, in this paper, we introduce Usable XAI in the context of LLMs by analyzing (1) how XAI can explain and improve LLM-based AI systems and (2) how XAI techniques can be improved by using LLMs. We introduce 10 strategies, introducing the key techniques for each and discussing their associated challenges. We also provide case studies to demonstrate how to obtain and leverage explanations. The code used in this paper can be found at: https://github.com/JacksonWuxs/UsableXAI_LLM.

研究の動機と目的

• LLMsの文脈で使えるXAIを定義し、説明を用いてLLMs/AIシステムを改善する方向と、LLMsを用いてXAIフレームワークを改善する方向の二分岐を区別する。
• LLMsに対する使えるXAIと、使えるXAIのためのLLMの活用という二つのカテゴリに組織化された10の戦略を提案する。
• 主要技術を示すケーススタディを提供し、現状の課題と今後の方向性を議論する。
• LLMの文脈で説明を適用するためのオープンソースコードを公開し、応用を促進する。
• 説明、帰属、構成要素の解釈、プロンプティエンジニアリング、知識拡張、データ拡張、ユーザーフレンドリーな説明、LLMと連携したシステム設計を総括・統合する。

提案手法

• 帰属法のレビューと、それがLLMsおよび生成タスクに適しているかを評価する。
• 解釈可能性のためにLLM内部構造（自己注意機構とフィードフォワードモジュール）を分析する。
• デバッグ用のサンプルベースの説明とEK-FAC風の影響推定を開発する。
• 信頼性の観点での説明可能性（セキュリティ、プライバシー、公平性、毒性、真実性）と人間の整合性を検討する。
• 説明可能な prompting（思考の連鎖）と拡張、知識拡張プロンプトを探究する。
• 説明に基づくデータ拡張と説明で導かれるデータ強化を検討する。
• LLMを用いたユーザーフレンドリーな説明の設計と、LLA（LLMエージェント）で interpretable AI ワークフローを自動化する。
• XAIトレーニングと評価において人間のアノテータとフィードバックを模倣することでLLMsを活用する。
• 実用性を示すケーススタディとオープンソースコードを提供して実装性を説明する。

Figure 1: The contributions and outline of this paper. We define Usable XAI in the context of LLMs with seven strategies of enhancing LLMs with XAI, and three strategies of enhancing XAI with LLMs.

実験結果

リサーチクエスチョン

• RQ1 XAIの説明はLLMsおよびより広いAIシステムを診断・デバッグ・改善するのにどのように活用できるか？
• RQ2 LLMsはXAIフレームワークの進展と説明の実務家向けの使いやすさを高めるのにどう寄与できるか？
• RQ3 LLM文脈で有効な実践的技術（帰属、構成要素の解釈、サンプルベースの説明、 prompting、知識拡張）は何か？
• RQ4 LLM時代においてXAIを使えるようにする上での主要な課題と今後の方向性は何か？

主な発見

• 帰属ベースの説明はLLMの応答品質を評価し幻覚を検出するのに利用でき、一部の設定でベースラインと競合する性能を示す実証結果がある。
• 自己注意とフィードフォワードモジュールといったLLMの構成要素を解釈することで、モデル設計と prompting 戦略に洞察を得られる。
• 説明可能な prompting（思考の連鎖および知識拡張プロンプト）は推論と意思決定の可制御性に影響を与え得るとされ、ケーススタディの観測が報告されている。
• 説明に基づくデータ拡張と説明を指針としたトレーニングデータの充実はショートカットを抑制し、人間の嗜好とモデルの整合性を高める。
• LLMsは使いやすい説明を生成し、解釈可能なAIワークフローを自動化し、人間のような認知を模倣する評価を可能にすることでXAIの使いやすさを向上させる。
• 本研究は再現性とさらなる発展を促すオープンソースコードを提供する。

Figure 3: A general pipeline of model diagnosis with attribution explanations.