[論文レビュー] XAI meets LLMs: A Survey of the Relation between Explainable AI and Large Language Models

Erik Cambria, Lorenzo Malandri+3 more|arXiv (Cornell University)|Jul 21, 2024

Natural Language Processing Techniques被引用数 11

ひとこと要約

Explainable AI（XAI）と大規模言語モデル（LLMs）の交差点を系統的に整理したマッピング研究。分類法、動向、ギャップ、XAIとLLM研究を共同で進展させるための将来の方向性を概説する。

ABSTRACT

In this survey, we address the key challenges in Large Language Models (LLM) research, focusing on the importance of interpretability. Driven by increasing interest from AI and business sectors, we highlight the need for transparency in LLMs. We examine the dual paths in current LLM research and eXplainable Artificial Intelligence (XAI): enhancing performance through XAI and the emerging focus on model interpretability. Our paper advocates for a balanced approach that values interpretability equally with functional advancements. Recognizing the rapid development in LLM research, our survey includes both peer-reviewed and preprint (arXiv) papers, offering a comprehensive overview of XAI's role in LLM research. We conclude by urging the research community to advance both LLM and XAI fields together.

研究の動機と目的

• LLMsに対するXAI研究を評価する新しい分類フレームワークを提案する。
• XAIとLLMsに関する査読済み論文およびプレプリント研究の包括的な調査を提供する。
• 現在の実践を批判的に評価し、LLMsのXAIにおけるギャップと将来の研究課題を特定する。

提案手法

• XAI手法がLLMsとどのように統合され、新たな収束が生じているかについて研究質問を定義する。
• ArXivおよびDBLP/Scopusソースの査読済み論文とプレプリント論文のSystematic Mapping Study（SMS）を実施する。
• 候補論文を手動でフィルタリング/精査し、誤検出を除去し、引用指標に基づいて最も関連性の高い35件の研究を選定する。
• 含まれる論文をApplication（To Explain; As Feature）とDiscussion（Issues; Benchmark and Metrics）カテゴリに分類する。
• オープンソースツールへの関与と説明手法とタスク志向の改善のバランスについて議論するために知見を総合する。

Figure 1: The process used for getting the papers related to our keywords, including the definition of research questions, paper retrieval, paper selection, elimination of false positives and classifying papers in the pre-defined categories.

実験結果

リサーチクエスチョン

• RQ1 Q1 XAI手法は現在どのようにLLMsと統合されているか？
• RQ2 Q2 LLMとXAI手法の収束における新たなトレンドは何か？
• RQ3 Q3 文献にはどのようなギャップが存在し、どの領域でさらなる研究が必要か？

主な発見

• 調査対象の作品のごく一部のみが、LLMベースのシステムに対するExplainability手法を直接扱っている。
• 研究の増加傾向として、コードやツールをオープンソースとして公開するものが増え、透明性と再現性を促進している。
• 顕著な分断があり、説明/解釈性に焦点を当てる研究と、タスク性能を重視する研究があり、解釈性は副産物として扱われることが多い。
• 大多数の論文はLLMsに焦点を当てており、より狭いAIシステムにはあまり焦点が当たっていない。
• 性能向上とLLMsの内部動作の解明、非技術的ステークホルダーが解釈を利用しやすくすることのバランスを求める提案がある。