[論文レビュー] LLMs for XAI: Future Directions for Explaining Explanations

Alexandra Zytek, Sara Pidò+1 more|arXiv (Cornell University)|May 9, 2024

Scientific Computing and Data Management被引用数 10

ひとこと要約

この論文はSHAPベースのML説明を自然な物語的説明に変換するためにLLMsの使用を提案し、評価指標とプロンプト設計を概説し、初期のGPT-3.5とGPT-4の結果とパイロットユーザ研究を示す。

ABSTRACT

In response to the demand for Explainable Artificial Intelligence (XAI), we investigate the use of Large Language Models (LLMs) to transform ML explanations into natural, human-readable narratives. Rather than directly explaining ML models using LLMs, we focus on refining explanations computed using existing XAI algorithms. We outline several research directions, including defining evaluation metrics, prompt design, comparing LLM models, exploring further training methods, and integrating external data. Initial experiments and user study suggest that LLMs offer a promising way to enhance the interpretability and usability of XAI.

研究の動機と目的

• MLの背景を持たない分野の専門家にとって、より自然で人間が読みやすいML説明の必要性を喚起する。
• 評価指標、プロンプト設計、モデル比較、訓練方法、データ統合を含むLLM支援XAIを向上させる研究方向を提案する。
• SHAPの説明を物語に変換するゼロショットのLLM機能を調査し、初期の性能を評価する。
• 物語型XAIの今後の研究を指針づけるための初期の経験的およびユーザ研究の洞察を提供する。

提案手法

• 物語的説明を評価する指標をレビューし定義する（整合性、流暢さ、完全性、文脈認識、長さ）。
• SHAPの説明を入力として使用し、2つのデータセット（学生の成績とAmes housing）で5つのプロンプトを用いた実験を行う。
• ゼロショットプロンプトベースの説明生成においてGPT-3.5とGPT-4を比較する。
• 物語ベースの説明とプロットベースの説明を比較するパイロットユーザ研究を実施し、使いやすさと有用性を評価する。
• プロンプト実験からの平均指標スコアと定性的なユーザーフィードバックを初期の進捗として報告する。

実験結果

リサーチクエスチョン

• RQ1 LLMsは追加の訓練なしで、SHAPの説明を流暢で文脈認識のある物語的説明に変換できるか？
• RQ2 プロンプト設計と異なるLLMが物語的説明の品質にどう影響するか？
• RQ3 物語的説明の品質を捉える指標は何か、LLMsはそれらでどのように性能を発揮するか？
• RQ4 従来の説明と比べて、物語的説明はユーザーの理解と信頼を向上させるか？
• RQ5 LLMベースのXAI物語を改善する実用的な方向性（訓練、データ統合、モデル比較）は何か？

主な発見

モデル	整合性	流暢さ	完全性	文脈認識	長さ
GPT-3.5	1.211	0.811	1.422	0.522	380.611
GPT-4	1.789	0.778	1.700	0.889	793.122

• GPT-4の説明はGPT-3.5より整合性・完全性・文脈認識が高いが、GPT-3.5は短く、より流暢である傾向がある。
• GPT-4は実験でほとんど誤りを生まなかったことから、慎重な評価を伴えばハイリスクな文脈にも潜在能力があることを示唆する。
• パイロットユーザ研究では、物語ベースの説明が、使いやすさと有用性の指標全般でプロットベースの説明より参加者に好まれた。
• 物語的説明がML説明の解釈性と使いやすさを向上させうるという有望な証拠。
• 本研究は、LLMをXAIにおけるさらなる探求の基盤として、評価指標とプロンプトを確立し、将来のファインチューニングとデータ統合を含む。