[论文解读] Explainability of deep vision-based autonomous driving systems: Review and challenges

Éloi Zablocki, Hedi Ben-younes+2 more|arXiv (Cornell University)|Jan 13, 2021

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本综述回顾了基于深度视觉的自动驾驶系统中的可解释性方法，重点聚焦于事后解释与内在可解释模型。它指出了将标准XAI技术应用于高维视觉输入时的关键挑战，并呼吁引入因果建模与更优的评估框架，以提升在安全关键型驾驶系统中的信任度、鲁棒性与可解释性。

ABSTRACT

This survey reviews explainability methods for vision-based self-driving systems trained with behavior cloning. The concept of explainability has several facets and the need for explainability is strong in driving, a safety-critical application. Gathering contributions from several research fields, namely computer vision, deep learning, autonomous driving, explainable AI (X-AI), this survey tackles several points. First, it discusses definitions, context, and motivation for gaining more interpretability and explainability from self-driving systems, as well as the challenges that are specific to this application. Second, methods providing explanations to a black-box self-driving system in a post-hoc fashion are comprehensively organized and detailed. Third, approaches from the literature that aim at building more interpretable self-driving systems by design are presented and discussed in detail. Finally, remaining open-challenges and potential future research directions are identified and examined.

研究动机与目标

• 分析自动驾驶作为具有高社会与技术风险的安全关键应用，其可解释性的必要性。
• 系统性地对基于视觉的自动驾驶系统中深度学习模型的事后解释与内在可解释解释方法进行分类与评估。
• 识别现有XAI技术在应用于高维视觉输入（如视频与三维点云）时的关键挑战。
• 强调当前自动驾驶解释方法中缺乏因果推理与标准化评估的现状。
• 提出未来研究方向，包括因果建模、不确定性感知解释与语义输入空间设计。

提出的方法

• 将可解释性方法分类为事后方法（如显著性图、反事实）与内在方法（如注意力机制、稀疏模型）。
• 回顾事后技术，如Grad-CAM、GradCAM++与LIME，用于可视化影响模型决策的输入特征。
• 考察反事实解释方法，并指出其在高维视频数据上应用时的局限性。
• 讨论模型转换与局部近似方法，指出其因高维输入空间而难以在视频输入中实际应用。
• 提出需要更丰富、语义有意义的输入空间与可控的数据流形，以实现有效的局部解释。
• 倡导整合因果推断（如do-计算、结构因果模型），以确保解释反映决策的真实因果驱动因素。

实验结果

研究问题

• RQ1 基于视觉的自动驾驶系统中可解释性的关键动机与挑战是什么？
• RQ2 当应用于高维视觉输入（如视频与三维点云）时，事后解释方法（如显著性图与反事实）表现如何？
• RQ3 为何标准XAI技术无法泛化至自动驾驶系统？其在输入空间表征中的核心限制是什么？
• RQ4 因果建模在多大程度上可提升驾驶策略解释的忠实度与鲁棒性？
• RQ5 在评估解释方面，仍存在哪些开放性挑战，特别是忠实度、完备性与人类可解释性方面？

主要发现

• 由于安全关键性、信任建立需求以及无法穷尽测试所有驾驶场景，可解释性在自动驾驶中至关重要。
• 事后方法如Grad-CAM与LIME虽广泛使用，但常因高维性与缺乏语义控制而无法在视频输入上生成有意义的解释。
• 现有XAI方法在低维数据中丰富，但在视频与三维点云等视觉驾驶输入中的应用却极为有限，存在显著差距。
• 反事实解释极少应用于高维视觉数据，且简单的扰动常导致无意义或误导性结果。
• 当前评估实践，尤其是基于人类的评分，不可靠且难以扩展，存在产生具有说服力但不忠实的解释的风险。
• 尽管潜在优势显著，因果建模在驾驶系统中仍被严重低估，其可确保解释反映真实原因并提升分布偏移下的鲁棒性。