[论文解读] On Feature Relevance Uncertainty: A Monte Carlo Dropout Sampling Approach

Kai Fabi, Jonas Schneider|arXiv (Cornell University)|Aug 3, 2020

Explainable Artificial Intelligence (XAI)参考文献 15被引用 5

一句话总结

本文提出蒙特卡洛相关性传播（MCRP），一种利用蒙特卡洛丢弃采样来估计神经网络中特征级相关性不确定性的方法。通过计算近似特征相关性分布，MCRP 能够实现更深层次的可解释性，不仅揭示哪些特征重要，还揭示网络对其相关性的确定程度，相较于基于点估计的解释方法，实现了显著进步。

ABSTRACT

Understanding decisions made by neural networks is key for the deployment of intelligent systems in real world applications. However, the opaque decision making process of these systems is a disadvantage where interpretability is essential. Many feature-based explanation techniques have been introduced over the last few years in the field of machine learning to better understand decisions made by neural networks and have become an important component to verify their reasoning capabilities. However, existing methods do not allow statements to be made about the uncertainty regarding a feature's relevance for the prediction. In this paper, we introduce Monte Carlo Relevance Propagation (MCRP) for feature relevance uncertainty estimation. A simple but powerful method based on Monte Carlo estimation of the feature relevance distribution to compute feature relevance uncertainty scores that allow a deeper understanding of a neural network's perception and reasoning.

研究动机与目标

• 解决现有基于特征的神经网络解释方法中缺乏不确定性估计的问题。
• 使模型能够表达对单个输入特征相关性的置信度，而不仅限于预测结果。
• 提升自动驾驶和医学影像等安全关键领域中深度学习模型的可解释性和可靠性。
• 提供一种可泛化的无监督框架，可扩展至 LRP、Grad-CAM 和 DeepLIFT 等现有解释技术。
• 提出一种新型评估指标——特征相关性不确定性，用于监控模型训练和比较模型鲁棒性。

提出的方法

• 使用蒙特卡洛丢弃采样进行多次前向传播，通过随机丢弃生成特征相关性得分的分布。
• 在每个丢弃采样中应用逐层相关性传播（LRP）计算每个特征的相关性得分。
• 对多次前向传播的相关性得分进行聚合，以估计特征相关性分布的均值和方差。
• 将不确定性得分计算为相关性分布的标准差，反映模型对特征重要性的置信程度。
• 支持输入层和隐藏层的特征相关性不确定性估计，实现多抽象层级的分析。
• 与网络架构无关，可应用于依赖于网络计算图的任何解释方法。

实验结果

研究问题

• RQ1 能否通过蒙特卡洛采样以合理且计算可行的方式估计特征相关性不确定性？
• RQ2 特征相关性不确定性与模型置信度及预测可靠性之间有何关联？
• RQ3 MCRP 是否能通过识别显著特征中的高不确定性来检测模型决策的过度自信？
• RQ4 与标准 LRP 相比，该方法是否通过揭示特征重要性的不确定性来提升可解释性？
• RQ5 特征相关性不确定性能否作为模型训练和验证过程中的新型评估指标？

主要发现

• MCRP 通过在丢弃下采样多次前向传播，成功估计了特征相关性不确定性，实现了相关性得分的分布估计。
• 在动物图像中，如头部或面部等特征表现出高相关性与低不确定性，表明网络对判别性特征具有高度信心。
• 如手臂或腿部等身体部位表现出更高不确定性，反映出其判别能力较弱且分类中存在更大模糊性。
• 该方法揭示，网络通常依赖于简单、局部的特征（如面部），这可能导致对微弱线索的过拟合。
• 高预测置信度与高特征相关性不确定性并存，提示模型可能存在过度自信，这是安全关键系统中的关键警示信号。
• 特征相关性不确定性可作为新型评估指标，用于模型比较和训练过程监控，且随着模型成熟，不确定性逐渐降低。