[论文解读] Interpreting Neural Networks Using Flip Points

Roozbeh Yousefzadeh, Dianne P. O’Leary|arXiv (Cornell University)|Mar 21, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用 6

一句话总结

本文提出翻转点（flip points）——位于类别决策边界上的输入——作为一种模型无关的方法，用于解释训练好的神经网络。通过求解一个适定的优化问题，找到任意输入最近的翻转点，该方法提供了可靠的置信度度量，识别关键特征，检测偏差，并实现对抗性样本分析与数据增强洞察，其在评估预测可靠性方面优于Softmax分数。

ABSTRACT

Neural networks have been criticized for their lack of easy interpretation, which undermines confidence in their use for important applications. Here, we introduce a novel technique, interpreting a trained neural network by investigating its flip points. A flip point is any point that lies on the boundary between two output classes: e.g. for a neural network with a binary yes/no output, a flip point is any input that generates equal scores for "yes" and "no". The flip point closest to a given input is of particular importance, and this point is the solution to a well-posed optimization problem. This paper gives an overview of the uses of flip points and how they are computed. Through results on standard datasets, we demonstrate how flip points can be used to provide detailed interpretation of the output produced by a neural network. Moreover, for a given input, flip points enable us to measure confidence in the correctness of outputs much more effectively than softmax score. They also identify influential features of the inputs, identify bias, and find changes in the input that change the output of the model. We show that distance between an input and the closest flip point identifies the most influential points in the training data. Using principal component analysis (PCA) and rank-revealing QR factorization (RR-QR), the set of directions from each training input to its closest flip point provides explanations of how a trained neural network processes an entire dataset: what features are most important for classification into a given class, which features are most responsible for particular misclassifications, how an adversary might fool the network, etc. Although we investigate flip points for neural networks, their usefulness is actually model-agnostic.

研究动机与目标

• 为解决神经网络在医疗、刑事司法等高风险应用中的可解释性不足问题。
• 开发一种模型无关的方法，通过识别会使输出类别发生翻转的最近输入，来解释预测结果。
• 为个体预测提供比Softmax分数更可靠的置信度度量。
• 识别影响分类决策的关键训练数据点和输入特征。
• 实现对抗性攻击检测，并通过合成数据生成提升模型性能。

提出的方法

• 将翻转点定义为距离给定样本最近且位于两个输出类别决策边界上的输入。
• 将最近翻转点的搜索问题形式化为一个适定的优化问题，可通过基于梯度的方法求解。
• 使用输入到其最近翻转点的距离作为模型预测的置信度度量。
• 对从训练输入到其最近翻转点的向量，应用主成分分析（PCA）和揭示秩的QR（RR-QR）分解，以识别主导特征方向。
• 利用翻转点方向生成合成数据，用于数据增强或对抗性测试。
• 利用翻转点信息评估模型鲁棒性，检测数据损坏，并指导特征缩放或重加权。

实验结果

研究问题

• RQ1 如何比Softmax分数更可靠地衡量神经网络预测的置信度？
• RQ2 对给定样本，何种输入变化会导致模型输出翻转？如何高效计算这些变化？
• RQ3 输入中哪些特征对模型分类决策最具影响力？
• RQ4 翻转点如何帮助识别最具影响力和最不具影响力的训练数据点？
• RQ5 翻转点能否用于生成对抗性样本，或通过合成数据提升模型泛化能力？

主要发现

• 到最近翻转点的距离是比Softmax分数更可靠的置信度度量，测试集中误分类样本的平均翻转距离为0.022，而正确预测的平均距离为0.103。
• 所有误分类的测试样本Softmax分数均高于97.4%，表明高Softmax值并不保证正确性，而翻转距离能有效标识不确定预测。
• 对翻转点方向进行PCA分析显示，在威斯康星州乳腺癌数据集中，'纹理标准误差'和'分形维数标准误差'是导致良性到恶性预测翻转的关键特征。
• 使'恶性'预测翻转为'良性'的最具影响力特征是'纹理标准误差'和'最差面积'，为临床医生和模型设计者提供了可操作的洞察。
• 翻转点使合成数据的生成成为可能，从而提升了模型准确率，同时也可用于生成改变决策边界的对抗性样本。
• 该方法具有模型无关性，适用于任何分类器，不仅限于神经网络，因其基于决策边界接近度的原理。