[论文解读] Analyzing Classifiers: Fisher Vectors and Deep Neural Networks

Sebastian Bach, Alexander Binder+3 more|arXiv (Cornell University)|Dec 1, 2015

Explainable Artificial Intelligence (XAI)参考文献 22被引用 8

一句话总结

该论文首次将逐层显著性传播（LRP）扩展至Fisher向量（FV）分类器，实现了其预测结果的可解释性。研究发现，FV模型严重依赖上下文特征（如版权标签），而深度神经网络（DNN）则聚焦于对象特异性特征，表明FV通过上下文进行泛化，而DNN则通过学习到的对象表征进行泛化，即使上下文具有误导性。

ABSTRACT

Fisher Vector classifiers and Deep Neural Networks (DNNs) are popular and successful algorithms for solving image classification problems. However, both are generally considered `black box' predictors as the non-linear transformations involved have so far prevented transparent and interpretable reasoning. Recently, a principled technique, Layer-wise Relevance Propagation (LRP), has been developed in order to better comprehend the inherent structured reasoning of complex nonlinear classification models such as Bag of Feature models or DNNs. In this paper we (1) extend the LRP framework also for Fisher Vector classifiers and then use it as analysis tool to (2) quantify the importance of context for classification, (3) qualitatively compare DNNs against FV classifiers in terms of important image regions and (4) detect potential flaws and biases in data. All experiments are performed on the PASCAL VOC 2007 data set.

研究动机与目标

• 将逐层显著性传播（LRP）扩展至Fisher向量分类器，以实现可解释性。
• 量化FV与DNN模型在图像分类决策中对上下文的依赖程度。
• 在相同数据集上比较FV与DNN分类器的空间注意力模式。
• 检测可能过度影响分类结果的数据偏差与人工特征（如版权标签）。
• 通过PASCAL VOC 2007数据集上的基于热力图的显著性分析，验证模型决策的可靠性。

提出的方法

• 通过推导FV表征的显著性反向传播方案，将LRP扩展至Fisher向量分类器。
• 利用LRP框架计算像素级显著性分数，以解释最终分类决策。
• 定义‘外部-内部显著性比’（公式11），以定量测量预测中对上下文的依赖程度。
• 在PASCAL VOC 2007数据集上应用该方法，利用边界框标注验证上下文显著性。
• 在20个类别上对比FV与DNN的热力图，分析特征关注差异。
• 通过可视化与统计比率检测模型对非对象特征（如文字或背景）的依赖。

实验结果

研究问题

• RQ1 Fisher向量分类器在多大程度上依赖于图像的上下文区域，而非对象本身？
• RQ2 在相同的图像分类任务中，Fisher向量模型对上下文的依赖程度与深度神经网络相比如何？
• RQ3 基于LRP的热力图能否检测出导致分类偏差的虚假相关性或数据人工特征（如版权标签）？
• RQ4 外部-内部显著性比是否能有效量化图像分类器对上下文的依赖程度？
• RQ5 可解释性方法（如LRP）能否揭示模型性能受人工特征驱动而非真实对象特征的情况？

主要发现

• Fisher向量模型表现出对上下文人工特征（如图像左下角的版权标签）的强烈依赖，这些特征显著影响预测结果。
• 当移除版权标签后，FV热力图发生剧烈变化，而DNN热力图基本保持不变，表明DNN对这类人工特征具有鲁棒性。
• 平均FV热力图在非对象区域始终显示高显著性，证实其系统性地关注非对象上下文。
• 外部-内部显著性比显示，FV模型使用的上下文远多于DNN，尤其在‘boat’（船）、‘airplane’（飞机）和‘chair’（椅子）等类别中，背景（水面、天空、室内场景）具有预测性。
• 对于‘sheep’（绵羊）、‘car’（汽车）和‘bicycle’（自行车）等类别，FV模型对上下文的依赖较低，但仍能取得良好性能，表明当可用时，其会利用对象特异性特征。
• DNN始终聚焦于对象本身，背景区域显著性较低，且在‘aeroplane’（飞机）、‘bird’（鸟）和‘dog’（狗）等类别上表现更优，表明其具备稳健的对象基础推理能力。