[论文解读] Resisting Out-of-Distribution Data Problem in Perturbation of XAI

Luyu Qiu, Yi Yang+6 more|arXiv (Cornell University)|Jul 27, 2021

Explainable Artificial Intelligence (XAI)参考文献 56被引用 4

一句话总结

本文提出一种OoD（分布外）模块，以缓解基于扰动的XAI方法中因扰动样本不一致而导致的过度自信问题。通过量化每个扰动样本的内点得分，并将其整合到解释聚合过程中，该方法在RISE、OCCLUSION和LIME中均提升了忠实度与可靠性，计算与认知指标均有显著提升，尤其在分布退化情况下表现突出。

ABSTRACT

With the rapid development of eXplainable Artificial Intelligence (XAI), perturbation-based XAI algorithms have become quite popular due to their effectiveness and ease of implementation. The vast majority of perturbation-based XAI techniques face the challenge of Out-of-Distribution (OoD) data -- an artifact of randomly perturbed data becoming inconsistent with the original dataset. OoD data leads to the over-confidence problem in model predictions, making the existing XAI approaches unreliable. To our best knowledge, the OoD data problem in perturbation-based XAI algorithms has not been adequately addressed in the literature. In this work, we address this OoD data problem by designing an additional module quantifying the affinity between the perturbed data and the original dataset distribution, which is integrated into the process of aggregation. Our solution is shown to be compatible with the most popular perturbation-based XAI algorithms, such as RISE, OCCLUSION, and LIME. Experiments have confirmed that our methods demonstrate a significant improvement in general cases using both computational and cognitive metrics. Especially in the case of degradation, our proposed approach demonstrates outstanding performance comparing to baselines. Besides, our solution also resolves a fundamental problem with the faithfulness indicator, a commonly used evaluation metric of XAI algorithms that appears to be sensitive to the OoD issue.

研究动机与目标

• 解决基于扰动的XAI中分布外（OoD）数据带来的关键问题，该问题导致解释结果过度自信且不可靠。
• 识别出随机扰动产生的OoD伪影会损害XAI方法及其评估指标的忠实度。
• 开发一种可泛化的解决方案，兼容RISE、OCCLUSION和LIME等主流XAI算法，以提升解释的可靠性。
• 通过整合内点得分，消除忠实度度量中对OoD样本的敏感性，从而解决该度量的根本偏差。
• 通过计算指标与人类评估相结合，在多个数据集与模型上验证性能提升。

提出的方法

• 基于异常检测技术设计OoD模块，为每个扰动样本计算‘内点得分’，以估计其属于原始数据分布的可能性。
• 将内点得分整合到解释聚合过程中，对来自OoD样本的预测进行降权，以减少过度自信。
• 将OoD模块应用于三种主流基于扰动的XAI方法：RISE、OCCLUSION和LIME，分别生成改进版本：$RISE^{+}$、$OCCLUSION^{+}$和$LIME^{+}$。
• 在显著性图生成过程中，将内点得分用作加权因子，确保仅分布一致的扰动对最终解释有显著贡献。
• 通过引入内点得分，改进忠实度度量，消除OoD样本带来的偏差，从而生成更可靠的评估指标。
• 利用预训练模型与统计分析，验证OoD模块在多样化数据集与模型架构下的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 在基于扰动的XAI方法中，OoD数据的存在如何影响模型置信度与解释忠实度？
• RQ2 内点得分机制能否有效识别并缓解OoD样本在基于扰动的XAI中的影响？
• RQ3 改进后的XAI方法（$RISE^{+}$、$OCCLUSION^{+}$、$LIME^{+}$）在计算与认知评估指标上，相较于基线模型在多大程度上表现更优？
• RQ4 所提出的OoD感知忠实度度量是否能消除标准忠实度度量在存在OoD样本时的偏差？
• RQ5 在分布偏移或模型退化场景下，OoD模块的性能表现如何？

主要发现

• 所提出的$RISE^{+}$、$OCCLUSION^{+}$和$LIME^{+}$方法显著提升了解释质量，其中$OCCLUSION^{+}$在ResNet50上对ImageNet数据集的定位性能提升了37.35%。
• 在VGG16上的VOC数据集上，$OCCLUSION^{+}$相较基线OCCLUSION在定位性能上提升了62.49%，展现出在多目标场景下的优异表现。
• 用户研究表明，$OCCLUSION^{+}$与$LIME^{+}$在解释质量、用户满意度、好奇心、信任度与理解度等方面均持续优于其基线模型，效应量范围为d = 1.15至d = 2.01。
• OoD模块在模型退化情况下有效降低了过度自信，$RISE^{+}$在模型处于压力状态时生成的显著性图比RISE更可靠。
• 基于内点得分改进的忠实度度量展现出对OoD伪影更低的敏感性，解决了标准忠实度评估中的根本缺陷。
• 该方法在多样化数据集（ImageNet、VOC）与模型（ResNet50、VGG16）上均实现一致性能提升，证实了其泛化性与鲁棒性。