[论文解读] Bridging the Gap Between Explainable AI and Uncertainty Quantification to Enhance Trustability

Dominik Seuß|arXiv (Cornell University)|May 25, 2021

Explainable Artificial Intelligence (XAI)参考文献 21被引用 14

一句话总结

本文提出将可解释人工智能（XAI）与不确定性量化（UQ）相结合，通过向用户提供模型解释和决策中量化后的不确定性，以增强AI系统的可信度。通过结合LRP生成显著性图、蒙特卡洛丢弃法进行不确定性估计等方法，该框架通过文本或视觉形式提供人类可理解、增强信任的反馈。

ABSTRACT

After the tremendous advances of deep learning and other AI methods, more attention is flowing into other properties of modern approaches, such as interpretability, fairness, etc. combined in frameworks like Responsible AI. Two research directions, namely Explainable AI and Uncertainty Quantification are becoming more and more important, but have been so far never combined and jointly explored. In this paper, I show how both research areas provide potential for combination, why more research should be done in this direction and how this would lead to an increase in trustability in AI systems.

研究动机与目标

• 解决对可信AI系统的需求，超越准确率，整合可解释性与不确定性量化。
• 识别不确定性与人类监控行为之间的心理联系，表明不确定性意识可增强对解释的需求。
• 提出一个统一框架，使AI系统同时提供解释和量化不确定性，以提升用户信任与系统透明度。
• 倡导将负责任AI中的‘可解释性’重新定义为信任构建机制，使XAI与UQ成为互补支柱。
• 通过与用户期望和认知处理方式对齐，推动以人为本的AI反馈设计，采用文本或视觉等解释形式。

提出的方法

• 将XAI分类为模型前、可解释建模（如概念激活向量、Beta VAE）和模型后可解释性（如LRP、ANN-DT）。
• 整合贝叶斯反向传播和蒙特卡洛丢弃法等UQ技术，以量化预测不确定性。
• 将事后解释方法（如LRP）与不确定性表示（如椭圆置信区域）结合，用于视觉反馈。
• 使用反事实解释展示输入变化如何影响预测结果及其相关不确定性水平。
• 以人类适宜的格式（文本或视觉）提供解释，明确表达不确定性，或以空间方式编码。
• 使系统反馈与结果监控的心理学原理保持一致，即不确定性会引发更高的认知投入和对解释的需求。

实验结果

研究问题

• RQ1 如何有意义地结合可解释人工智能与不确定性量化，以提升AI系统的可信度？
• RQ2 何种解释格式（文本、视觉、反事实）最能有效传达模型决策及其相关不确定性给人类用户？
• RQ3 AI决策中不确定性的存在在多大程度上影响人类的监控行为与信任形成？
• RQ4 是否能够证明，整合XAI与UQ的统一框架在提升用户理解力与信心方面优于孤立的方法？
• RQ5 是否应将负责任AI中的‘可解释性’支柱重新定义为‘信任’，以更准确反映人类-AI交互的心理与行为驱动因素？

主要发现

• 结合XAI与UQ可提升AI系统的可信度，同时解决决策透明度与不确定性意识问题。
• 引用的行为研究显示，不确定性会增加认知监控，使解释与可预测性成为用户信任的关键要素。
• 用户研究显示，反事实解释优于基于案例的推理，表明其在不确定性感知反馈中的价值。
• 将LRP显著性图与蒙特卡洛丢弃法的不确定性估计（如通过椭圆编码）进行视觉整合，可提供人类可读、具备不确定性意识的解释。
• 明确陈述置信度水平的文本反馈（如“30%确定，因口罩遮挡”）可提升用户理解力与信任度。
• XAI与UQ的整合并非简单叠加，而是具有协同效应，包含不确定性来源的解释比仅提供解释更有效。