[论文解读] Making Sense of Dependence: Efficient Black-box Explanations Using Dependence Measure

Paul Novello, Thomas Fel+1 more|arXiv (Cornell University)|Jun 13, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

该论文提出了一种名为HSIC-Attribution的新黑盒解释方法，利用希尔伯特-施密特独立性准则（HSIC）通过再生核希尔伯特空间（RKHS）中的核嵌入，高效地度量图像块与模型输出之间的依赖关系。该方法在保持或提升保真度的同时，推理速度比当前最先进的黑盒方法快达8倍，并支持正交分解以检测成对图像块之间的相互作用，已在ImageNet和YOLOv4等目标检测模型上验证了其有效性。

ABSTRACT

This paper presents a new efficient black-box attribution method based on Hilbert-Schmidt Independence Criterion (HSIC), a dependence measure based on Reproducing Kernel Hilbert Spaces (RKHS). HSIC measures the dependence between regions of an input image and the output of a model based on kernel embeddings of distributions. It thus provides explanations enriched by RKHS representation capabilities. HSIC can be estimated very efficiently, significantly reducing the computational cost compared to other black-box attribution methods. Our experiments show that HSIC is up to 8 times faster than the previous best black-box attribution methods while being as faithful. Indeed, we improve or match the state-of-the-art of both black-box and white-box attribution methods for several fidelity metrics on Imagenet with various recent model architectures. Importantly, we show that these advances can be transposed to efficiently and faithfully explain object detection models such as YOLOv4. Finally, we extend the traditional attribution methods by proposing a new kernel enabling an ANOVA-like orthogonal decomposition of importance scores based on HSIC, allowing us to evaluate not only the importance of each image patch but also the importance of their pairwise interactions. Our implementation is available at https://github.com/paulnovello/HSIC-Attribution-Method.

研究动机与目标

• 解决现有依赖蒙特卡洛采样和大量前向传播的黑盒归因方法带来的高计算成本问题。
• 开发一种在大幅降低推理时间的同时仍能忠实反映模型行为的黑盒解释方法，尤其适用于大型模型或API场景。
• 通过一种新颖的基于核的分解方法，实现对图像块之间高阶相互作用（超越单个块重要性）的检测与定位。
• 将归因方法的应用范围扩展到目标检测等较少见的任务，因为在这些任务中，标准显著性图常无法揭示误分类的原因。
• 通过结合黑盒方法的效率与白盒方法的保真度，弥合黑盒与白盒归因方法之间的性能差距。

提出的方法

• 利用希尔伯特-施密特独立性准则（HSIC）度量扰动图像块分布与模型输出之间的统计依赖性，借助RKHS中的核嵌入实现更丰富的表征。
• 通过随机采样二值掩码来扰动输入图像，生成一组掩码输入，其输出用于估计图像块级扰动与模型预测之间的HSIC。
• 提出一种新颖的核函数，实现HSIC得分的ANOVA式正交分解，从而将单个图像块的重要性与成对图像块之间的相互作用效应分离。
• 通过RKHS中的经验交叉协方差算子估计HSIC，与Sobol指数等基于方差的方法相比，计算效率更高，计算开销更低。
• 将该方法应用于图像分类（ImageNet）和目标检测（YOLOv4），证明其在多种架构和任务中均具有鲁棒性。
• 利用正交分解计算交互作用得分 $\mathcal{H}^{p}_{i\times j}$，通过从联合贡献中减去个体贡献，实现对关键图像块相互作用的定位。

实验结果

研究问题

• RQ1 我们如何设计一种黑盒归因方法，在显著降低计算成本的同时保持高保真度，相较于现有基于蒙特卡洛的方法？
• RQ2 基于RKHS核嵌入的依赖度量（如HSIC）是否能在捕捉深度神经网络解释中的复杂非线性相互作用方面优于基于方差的方法（如Sobol指数）？
• RQ3 所提出的基于HSIC并结合正交分解的方法，能否有效检测并定位对模型预测有联合贡献的图像块之间的成对相互作用？
• RQ4 该方法是否能有效应用于目标检测模型，其中显著性图常无法解释误分类原因？
• RQ5 该方法是否能在保真度方面达到与白盒方法相当的性能，同时仍适用于现实世界中的黑盒场景？

主要发现

• HSIC-Attribution的推理速度比之前最佳的黑盒归因方法快达8倍，显著降低了计算成本，且未牺牲保真度。
• 该方法在多种ImageNet模型和近期架构上，于多个保真度指标（如忠实度、稳定性）上达到或超越了当前最先进水平。
• HSIC-Attribution成功解释了目标检测模型（如YOLOv4），正确识别出误分类的根源——例如，突出显示背景中的一只猫，导致斑马被误分类为猫。
• 所提出的核函数实现了ANOVA式正交分解，能够检测出显著的图像块成对相互作用，例如美洲狮的胡须区域对预测的联合贡献大于眼睛/额头单独贡献。
• 定量结果表明，交互作用得分 $\mathcal{H}^{p}_{i\times j}$ 可高达9.2（美洲狮胡须区域），超过眼睛/额头单独重要性得分8.2，证明了该方法捕捉非加性效应的能力。
• 结果表明，某些相互作用的影响可与单个图像块相当——例如，滑雪场景中两个屋檐角落与山体之间的相互作用，比单个图像块贡献更重要，凸显了其揭示复杂推理模式的能力。