[论文解读] An explanation method for Siamese neural networks

Lev V. Utkin, Maxim S. Kovalev+1 more|arXiv (Cornell University)|Nov 18, 2019

Neural Networks and Applications被引用 5

一句话总结

本文提出了一种新颖的孪生神经网络解释方法，通过利用基于原型的特征重要性与在孪生网络嵌入空间上训练的专用自编码器。该方法通过将输入向量与类别原型进行比较来识别关键特征，并利用改进的自编码器重建输入，从而在MNIST数据集上生成可解释的显著性图，验证了其有效性。

ABSTRACT

A new method for explaining the Siamese neural network is proposed. It uses the following main ideas. First, the explained feature vector is compared with the prototype of the corresponding class computed at the embedding level (the Siamese neural network output). The important features at this level are determined as features which are close to the same features of the prototype. Second, an autoencoder is trained in a special way in order to take into account the embedding level of the Si-amese network, and its decoder part is used for reconstructing input data with the corresponding changes. Numerical experiments with the well-known dataset MNIST illustrate the propose method.

研究动机与目标

• 为解决孪生神经网络在相似性学习中广泛应用但缺乏解释方法的问题，提升其可解释性。
• 识别对孪生网络决策过程贡献最大的输入数据显著特征。
• 开发一种将孪生网络嵌入空间与基于重建的解释框架相融合的方法。
• 通过在嵌入层上训练的改进自编码器，实现重要特征的可视化。
• 在标准基准数据集（MNIST）上验证该方法，以实现对孪生网络行为的可靠解释。

提出的方法

• 在孪生网络的嵌入输出层为每个类别计算一个原型向量，代表该类别所有嵌入的质心。
• 若输入中的特征与嵌入空间中原型向量的特征高度相关，则认为该特征具有重要性。
• 训练一个专用自编码器以重建输入数据，其潜在码被约束在孪生网络的嵌入空间中。
• 通过修改自编码器的解码器来重建输入，突出显示对相似性决策贡献最大的特征。
• 通过分析重建误差与特征级贡献生成解释，重点关注与原型的偏差。
• 结合基于原型的显著性与基于重建的特征归因，生成可解释的解释结果。

实验结果

研究问题

• RQ1 如何识别孪生神经网络相似性决策中最具影响力的输入样本特征？
• RQ2 能否在嵌入空间中使用类别原型来指导孪生网络中的特征重要性归因？
• RQ3 在孪生网络嵌入空间上训练的基于重建的自编码器在多大程度上能提升解释的保真度？
• RQ4 与基线方法相比，所提出的解释图在MNIST上的可解释性与正确性如何？
• RQ5 该方法能否可靠地突出图像对中的相关特征，同时抑制噪声和无关像素？

主要发现

• 所提出的方法成功识别出MNIST图像中对相似性决策有贡献的语义相关特征，如数字笔画。
• 基于原型的方法生成的特征重要性图与人类直觉及网络行为高度一致。
• 该方法的基于重建的组件有效突出了与类别原型存在偏差的输入区域，表明其对决策的影响。
• 在MNIST上的数值实验表明，该解释方法在多个测试样本上均生成了一致且可解释的显著性图。
• 原型比较与自编码器重建的结合，相比基线方法，产生了更鲁棒且更局部化的解释。
• 该方法通过结合嵌入层分析与输入层重建，为解释孪生网络提供了一个统一的框架。