[論文レビュー] XAI for All: Can Large Language Models Simplify Explainable AI?

Philip Mavrepis, Georgios Makridis+4 more|arXiv (Cornell University)|Jan 23, 2024

Explainable Artificial Intelligence (XAI)被引用数 8

ひとこと要約

本論文はx-[plAIn]を提案します。GPTベースのLLMアプローチを用いて、さまざまなXAI手法の聴衆別で簡潔な説明を生成し、ユースケース研究とユーザー調査によって検証します。

ABSTRACT

The field of Explainable Artificial Intelligence (XAI) often focuses on users with a strong technical background, making it challenging for non-experts to understand XAI methods. This paper presents "x-[plAIn]", a new approach to make XAI more accessible to a wider audience through a custom Large Language Model (LLM), developed using ChatGPT Builder. Our goal was to design a model that can generate clear, concise summaries of various XAI methods, tailored for different audiences, including business professionals and academics. The key feature of our model is its ability to adapt explanations to match each audience group's knowledge level and interests. Our approach still offers timely insights, facilitating the decision-making process by the end users. Results from our use-case studies show that our model is effective in providing easy-to-understand, audience-specific explanations, regardless of the XAI method used. This adaptability improves the accessibility of XAI, bridging the gap between complex AI technologies and their practical applications. Our findings indicate a promising direction for LLMs in making advanced AI concepts more accessible to a diverse range of users.

研究の動機と目的

• ビジネス、学術、非専門家など、異なる聴衆に説明を適応させることで、ヒューマン中心のXAI（HC-XAI）を推進する。
• GPT-Builderを用いて複数のXAI手法を平易な言葉で要約する、GPTベースのXAIエクスプレナー（x-[plAIn]）を開発する。
• LIME、SHAP、Grad-CAM等の多様な手法をサポートすることで、XAI手法の汎用性を示す。
• アクセシビリティと有用性を評価するため、ユースケース主導の評価とユーザー調査でアプローチを検証する。

提案手法

• GPT-Builderを用いて、聴衆に合わせたXAI要約を生成するカスタムGPTベースのエクスプレナー（x-[plAIn]）を開発する。
• 複数のXAI手法（LIME、SHAP、Grad-CAM、PDP）の出力を、循環的な自然言語説明に統合する。
• 推論の連鎖を含むChain-of-Thought風の要素を含む、P1–P6の段階的なプロンプトを用いたプロンプトエンジニアリングパイプラインを採用する。
• 評価刺激として、5つの多様なXAIユースケース（boar taint SHAP、fake news LIME/Anchors、IGサリエンシーマップ、COVID X線のGrad-CAM、ハイパーパラメータ探索のPDP）を用いる。
• x-[plAIn]の説明を、元論文の記述と比較する包括的な調査を実施し、ユーザーの好みと理解度を評価する。

実験結果

リサーチクエスチョン

• RQ1 LLMは異なる手法を横断して、聴衆別の簡潔なXAI説明をどれだけ効果的に生成できるか？
• RQ2 HC-XAIの説明は、エンドユーザーや非技術専門家のアクセス性と意思決定を改善できるか？
• RQ3 従来の手法説明と比較して、聴衆適応型の説明が理解に与える影響はどの程度か？
• RQ4 精度を保ちながら、GPTベースのエクスプレナーは基盤となるXAI手法に対してどの程度汎用性を維持できるか？
• RQ5 XAI説明における説明長、構造、ドメイン別調整に関するユーザーの嗜好は何か？

主な発見

• 70％を超える参加者が、AIベースの意思決定モデルの理解に対する満足度を60％未満と回答しており、より良い説明が必要であることを浮き彫りにしている。
• 意思決定や画像理解の場面で、従来の論文記述よりx-[plAIn]の説明を好む参加者が80％を超えた。
• 自己申告AI理解度が高い回答者の75％がx-[plAIn]を支持しており、情報を持つ利用者の間での高い使いやすさを示している。
• 参加者は簡潔さとドメイン別調整を改善点として強調し、さらなるパーソナライズの機会を示唆した。