[论文解读] Explainable AI: current status and future directions

Prashant Gohel, Priyanka Singh+1 more|arXiv (Cornell University)|Jul 12, 2021

Explainable Artificial Intelligence (XAI)参考文献 55被引用 78

一句话总结

一个跨多媒体数据（文本、图像、音频、视频）的可解释AI（XAI）技术综述，比较透明和事后方法，讨论在可值得信任的AI应用中的好处、局限性和未来方向。

ABSTRACT

Explainable Artificial Intelligence (XAI) is an emerging area of research in the field of Artificial Intelligence (AI). XAI can explain how AI obtained a particular solution (e.g., classification or object detection) and can also answer other "wh" questions. This explainability is not possible in traditional AI. Explainability is essential for critical applications, such as defense, health care, law and order, and autonomous driving vehicles, etc, where the know-how is required for trust and transparency. A number of XAI techniques so far have been purposed for such applications. This paper provides an overview of these techniques from a multimedia (i.e., text, image, audio, and video) point of view. The advantages and shortcomings of these techniques have been discussed, and pointers to some future directions have also been provided.

研究动机与目标

• 在关键应用中，激发对AI可解释性的需求，以提升信任与透明度。
• 总结跨多媒体数据（文本、图像、音频、视频）的现有XAI技术。
• 讨论XAI方法的优点与不足，并提供未来研究方向的指引。
• 提出区分透明型与事后型XAI方法的分类框架。
• 突出在国防、医疗、法律和工业中的应用，以展示实际相关性。

提出的方法

• 将XAI技术分类为透明型和事后型两类。
• 评述与模型无关和模型特定的解释及其对不同数据类型的适用性。
• 讨论显著性图、LIME、SHAP、LRP及基于源证据/溯源的方法的优缺点。
• 概述一个关于数据类型（文本、图像、视频、音频）的XAI方法分类树。
• 提供在现实世界领域部署XAI的案例研究和实践注意事项。

实验结果

研究问题

• RQ1 针对多媒体数据（文本、图像、音频、视频）提出的主要XAI技术有哪些？它们的比较如何？
• RQ2 跨不同数据模态，透明型与事后型XAI方法的优点与局限性是什么？
• RQ3 XAI如何在医疗、国防、执法等关键应用中提升信任、透明度和公平性？
• RQ4 在多模态AI系统中，哪些未来方向和研究机会可以改善可解释性？

主要发现

• XAI方法分为透明型（本质可解释）和事后型（事后解释）两类。
• 基于显著性的解释、LIME、SHAP、LRP，以及源证据/分类法方法提供不同程度的可解释性，并在保真度和复杂性上存在权衡。
• 模型无关方法（如LIME、SHAP）具有广泛的适用性，但面临不稳定性和特征依赖等挑战。
• 反事实解释（SEDC/SEDC-T）提供以人为本、对比性的论证，在监管情境中有用。
• 可解释性概念扩展到文本、图像、音频和视频，并针对每种模态存在特定的挑战和机会。