[论文解读] XAI for All: Can Large Language Models Simplify Explainable AI?

Philip Mavrepis, Georgios Makridis+4 more|arXiv (Cornell University)|Jan 23, 2024

Explainable Artificial Intelligence (XAI)被引用 8

一句话总结

本文提出 x-[plAIn]，一种基于 GPT 的大语言模型（LLM）方法，用于生成面向特定受众的、简明的各种 XAI 方法解释，并通过用例研究和用户调查进行验证。

ABSTRACT

The field of Explainable Artificial Intelligence (XAI) often focuses on users with a strong technical background, making it challenging for non-experts to understand XAI methods. This paper presents "x-[plAIn]", a new approach to make XAI more accessible to a wider audience through a custom Large Language Model (LLM), developed using ChatGPT Builder. Our goal was to design a model that can generate clear, concise summaries of various XAI methods, tailored for different audiences, including business professionals and academics. The key feature of our model is its ability to adapt explanations to match each audience group's knowledge level and interests. Our approach still offers timely insights, facilitating the decision-making process by the end users. Results from our use-case studies show that our model is effective in providing easy-to-understand, audience-specific explanations, regardless of the XAI method used. This adaptability improves the accessibility of XAI, bridging the gap between complex AI technologies and their practical applications. Our findings indicate a promising direction for LLMs in making advanced AI concepts more accessible to a diverse range of users.

研究动机与目标

• 通过将解释适应不同受众（企业、学术界、非专业人士）来促进以人为本的 XAI（HC-XAI）。
• 使用 GPT-Builder 开发基于 GPT 的 XAI 解释器（x-[plAIn]），以简单语言总结多种 XAI 方法。
• 通过支持多样化技术（LIME、SHAP、Grad-CAM 等）来证明 XAI 方法的不可知论。
• 通过用例驱动的评估和用户调查来验证该方法，以评估可访问性和实用性。

提出的方法

• 使用 GPT-Builder 开发自定义的 GPT 基于的解释器（x-[plAIn]），以生成面向受众的 XAI 摘要。
• 将来自多种 XAI 方法（LIME、SHAP、Grad-CAM、PDP）的输出整合为流通的自然语言解释。
• 使用带有渐进提示（P1–P6）的提示工程管线，其中包含一种 Chain-of-Thought 风格的解释要素。
• 使用五个不同的 XAI 使用场景（boar taint SHAP, fake news LIME/Anchors, IG saliency maps, Grad-CAM for COVID X-ray, PDP for hyperparameter exploration）作为评估刺激。
• 开展全面调查，将 x-[plAIn] 解释与原论文描述进行比较，并评估用户偏好与理解程度。

实验结果

研究问题

• RQ1 在不同方法下，LLM 多大程度上能生成面向不同受众、简明的 XAI 解释？
• RQ2 以人为本的 XAI 解释是否能提高最终用户和非技术专业人员的可获取性与决策能力？
• RQ3 与传统方法描述相比，面向受众自适应的解释对理解力有何影响？
• RQ4 在保持准确性的同时，基于 GPT 的解释器在多大程度上能对底层 XAI 方法保持不可知论？
• RQ5 在 XAI 解释中，用户对描述长度、结构和领域定制的偏好是什么？

主要发现

• 超过 70% 的参与者在对 AI 基于决策模型的理解中报告满意度低于 60%，突显需要更好的解释。
• 超过 80% 的参与者在决策与图像理解情景中更偏好 x-[plAIn] 的描述，而非传统论文描述。
• 在自评 AI 理解水平最高的受访者中，75% 偏好 x-[plAIn]，表明在知情用户中具备强大可用性。
• 参与者强调简洁性和领域定制是需要改进的领域，提示未来个性化的机会。