[论文解读] Interpretable Self-Aware Neural Networks for Robust Trajectory Prediction

Masha Itkina, Mykel J. Kochenderfer|arXiv (Cornell University)|Nov 16, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出可解释的自我意识预测（ISAP），一种基于证据深度学习的单次、单前向传播轨迹预测框架，用于在可解释的语义概念（如智能体行为、道路结构和社会情境）上估计认知不确定性。该方法在无需训练时使用分布外（OOD）数据的情况下，仍能保持强大的预测精度，同时在不确定性估计方面优于最先进基线方法。

ABSTRACT

Although neural networks have seen tremendous success as predictive models in a variety of domains, they can be overly confident in their predictions on out-of-distribution (OOD) data. To be viable for safety-critical applications, like autonomous vehicles, neural networks must accurately estimate their epistemic or model uncertainty, achieving a level of system self-awareness. Techniques for epistemic uncertainty quantification often require OOD data during training or multiple neural network forward passes during inference. These approaches may not be suitable for real-time performance on high-dimensional inputs. Furthermore, existing methods lack interpretability of the estimated uncertainty, which limits their usefulness both to engineers for further system development and to downstream modules in the autonomy stack. We propose the use of evidential deep learning to estimate the epistemic uncertainty over a low-dimensional, interpretable latent space in a trajectory prediction setting. We introduce an interpretable paradigm for trajectory prediction that distributes the uncertainty among the semantic concepts: past agent behavior, road structure, and social context. We validate our approach on real-world autonomous driving data, demonstrating superior performance over state-of-the-art baselines. Our code is available at: https://github.com/sisl/InterpretableSelfAwarePrediction.

研究动机与目标

• 解决神经网络中缺乏模型自我意识的问题，特别是在自动驾驶感知中常见的分布外（OOD）场景下过度自信的问题。
• 克服现有不确定性估计方法的局限性，这些方法通常需要多次前向传播或在训练期间使用 OOD 数据。
• 通过将不确定性分布到语义上具有意义的潜在因素（如智能体行为、地图结构和社会情境）来提升不确定性的可解释性。
• 通过确保单次推理过程，实现安全关键系统中的实时部署。
• 为工程师和下游自主系统模块提供关于不确定性来源的可操作洞察。

提出的方法

• 采用证据深度学习，通过在智能体行为、高清地图和社交情境的潜在表征上使用狄利克雷分布来建模认知不确定性。
• 利用归一化流在训练过程中约束狄利克雷参数，确保模型校准性，且无需使用 OOD 数据。
• 将输入分解为三种模态专用编码器：智能体轨迹、地图嵌入和社交情境表征。
• 为每个语义组件独立学习不确定性参数 α_agent、α_map 和 α_sc，实现可解释的不确定性分解。
• 将各个狄利克雷分布组合为最终的输出分布，其中总和 α₀ 作为全局认知不确定性指标。
• 采用基于似然的端到端训练目标，不确定性估计仅通过一次前向传播完成。

实验结果

研究问题

• RQ1 是否可以在不使用训练时 OOD 数据的情况下，通过单次前向传播有效估计认知不确定性？
• RQ2 是否可以将不确定性有意义地分解到可解释的语义因素（如智能体行为、道路结构和社会情境）上？
• RQ3 所提出的可解释不确定性分解是否能提升不确定性估计的可解释性和对工程师及下游系统的诊断价值？
• RQ4 在分布内（ID）和分布外（OOD）设置下，该模型的不确定性估计性能与最先进方法（如蒙特卡洛 dropout 和集成模型）相比如何？
• RQ5 该模型是否能通过在特定语义组件的不确定性中反映分布偏移，从而检测并适当地响应分布偏移？

主要发现

• ISAP 框架在认知不确定性估计方面优于最先进基线方法（如 MC dropout 和集成模型），特别是在检测 OOD 输入方面表现更优。
• 在历史轨迹实验中，具有更快轨迹的 OOD 输入的 α₀,agent 值显著低于 ID 输入（69 vs. 8137），正确反映出更高的不确定性。
• 在基于地图的实验中，包含训练中未见的环岛结构的 OOD 输入，其 α₀,map 值远低于 ID 输入（117 vs. 1060），表明模型正确检测到分布偏移。
• 在涉及密集交通的 ID 和 OOD 情况下，社交情境不确定性分量（α₀,sc）均保持较高水平，表明此类场景在训练数据中常见，因此并不出人意料。
• 该模型的不确定性分解提供了可解释的洞察：例如，在 OOD 环岛场景中，α₀,map 值较低，明确指出了地图结构是不确定性来源。
• 尽管增加了不确定性估计，ISAP 的轨迹预测性能与基线模型相比仅出现轻微下降，保持了相当的预测能力。