[论文解读] Explainability of vision-based autonomous driving systems: Review and challenges.

Éloi Zablocki, Hedi Ben-younes+2 more|arXiv (Cornell University)|Jan 13, 2021

Explainable Artificial Intelligence (XAI)参考文献 202被引用 30

一句话总结

本综述全面回顾了基于视觉的自动驾驶系统可解释性方法，涵盖事后解释技术与内在可解释系统设计。它识别了在安全关键环境中使自动驾驶系统更加透明和可信的关键挑战与未来研究方向。

ABSTRACT

This survey reviews explainability methods for vision-based self-driving systems. The concept of explainability has several facets and the need for explainability is strong in driving, a safety-critical application. Gathering contributions from several research fields, namely computer vision, deep learning, autonomous driving, explainable AI (X-AI), this survey tackles several points. First, it discusses definitions, context, and motivation for gaining more interpretability and explainability from self-driving systems. Second, major recent state-of-the-art approaches to develop self-driving systems are quickly presented. Third, methods providing explanations to a black-box self-driving system in a post-hoc fashion are comprehensively organized and detailed. Fourth, approaches from the literature that aim at building more interpretable self-driving systems by design are presented and discussed in detail. Finally, remaining open-challenges and potential future research directions are identified and examined.

研究动机与目标

• 为解决基于视觉的自动驾驶系统这一安全关键应用中对可解释性和可解释性的迫切需求。
• 综合并分类最先进的事后解释方法，以解释黑箱自动驾驶系统。
• 考察从一开始就增强透明度的内在可解释系统设计。
• 识别开放性挑战，并为自动驾驶可解释人工智能的未来研究提供指导。

提出的方法

• 系统性地回顾自动驾驶系统中可解释性的定义、背景和动机。
• 对近期最先进的基于视觉的自动驾驶架构进行分类与分析。
• 组织并详细阐述事后解释方法，如显著性图、注意力可视化和反事实解释。
• 研究内在可解释方法，包括注意力机制、模块化神经网络以及驾驶系统中的符号推理。
• 综合计算机视觉、深度学习与可解释人工智能的见解，以评估方法论的权衡。
• 通过批判性分析现有文献，识别研究空白与未来研究方向。

实验结果

研究问题

• RQ1 基于视觉的自动驾驶系统中可解释性的关键动机和情境驱动因素是什么？
• RQ2 事后解释方法（如显著性图和注意力可视化）如何增强对自动驾驶系统中黑箱模型的理解？
• RQ3 哪些设计原则能够实现内在可解释的自动驾驶系统？它们与事后方法相比有何异同？
• RQ4 在实现自动驾驶系统中可靠且可操作的解释方面，存在哪些主要开放挑战？
• RQ5 在安全关键驾驶应用中推进可解释人工智能方面，哪些未来研究方向最具前景？

主要发现

• 由于自动驾驶决策涉及高安全性和社会影响，可解释性至关重要。
• 事后解释方法（如 Grad-CAM 和 GradCAM++）被广泛用于突出输入图像中的相关视觉特征。
• 内在可解释模型（包括基于注意力和模块化架构的模型）虽提升了透明度，但通常以性能下降或复杂度增加为代价。
• 自动驾驶系统中解释质量尚缺乏标准化的评估协议。
• 现有方法在多样化驾驶场景下难以提供忠实、鲁棒且人类可理解的解释。
• 未来研究必须优先考虑以用户为中心的解释设计、评估基准，以及在自动驾驶可解释人工智能中整合因果推理。