[论文解读] Sparse Oblique Decision Trees: A Tool to Understand and Manipulate Neural Net Features

Suryabhan Singh Hada, Miguel Á. Carreira-Perpiñán+1 more|arXiv (Cornell University)|Apr 7, 2021

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出通过树交替优化（TAO）训练的稀疏斜决策树，以解释和操控深度神经网络的特征。通过用此类树替换已训练网络的最后几层，该方法揭示了哪些内部特征驱动预测结果，并实现了全局性的、基于特征的对抗攻击，可控制整个数据集的分类输出。

ABSTRACT

The widespread deployment of deep nets in practical applications has lead to a growing desire to understand how and why such black-box methods perform prediction. Much work has focused on understanding what part of the input pattern (an image, say) is responsible for a particular class being predicted, and how the input may be manipulated to predict a different class. We focus instead on understanding which of the internal features computed by the neural net are responsible for a particular class. We achieve this by mimicking part of the neural net with an oblique decision tree having sparse weight vectors at the decision nodes. Using the recently proposed Tree Alternating Optimization (TAO) algorithm, we are able to learn trees that are both highly accurate and interpretable. Such trees can faithfully mimic the part of the neural net they replaced, and hence they can provide insights into the deep net black box. Further, we show we can easily manipulate the neural net features in order to make the net predict, or not predict, a given class, thus showing that it is possible to carry out adversarial attacks at the level of the features. These insights and manipulations apply globally to the entire training and test set, not just at a local (single-instance) level. We demonstrate this robustly in the MNIST and ImageNet datasets with LeNet5 and VGG networks.

研究动机与目标

• 通过识别影响特定预测的内部特征，解决深度神经网络可解释性不足的问题。
• 开发一种方法，通过针对特定特征表示而非单个输入，实现对神经网络行为的全局操控。
• 使用稀疏斜树构建深度网络决策过程的忠实、可解释的代理模型。
• 证明可构建影响整个训练集和测试集预测结果的特征级对抗攻击，而不仅限于局部影响。

提出的方法

• 使用树交替优化（TAO）算法训练具有小规模可学习权重向量的稀疏斜决策树，每个节点均实现高准确率与可解释性。
• 训练该树以模仿深度神经网络最终层的输出，使用中间层的特征（例如VGG或LeNet5中的卷积块之后的特征）。
• 应用特征掩码机制，选择性地阻断或抑制网络中的特定神经元（特征），模拟在特征层面的对抗性操控。
• 利用树的结构和特征权重，识别对各类预测最具影响力的特征，从而洞察网络的内部推理机制。
• 将已训练网络的最终分类器替换为稀疏斜树，构建一个保留预测性能但具备可解释性的代理模型。
• 在MNIST和ImageNet上使用LeNet5和VGG架构评估该方法，证明其在预测可解释性与可控性方面的有效性。

实验结果

研究问题

• RQ1 在深度神经网络中，哪些内部特征最能决定某一类别的预测结果？
• RQ2 稀疏斜决策树能否在保持可解释性的同时，忠实模仿深度神经网络最终层的决策边界？
• RQ3 能否构建出可全局改变整个数据集网络行为的特征级对抗攻击？
• RQ4 通过掩码特定特征，能否操控网络使其始终预测某一类别，或永远不预测某一特定类别？
• RQ5 该方法是否能为深度网络所学习的内部表征提供一致且有意义的洞察？

主要发现

• 通过TAO训练的稀疏斜决策树在模仿LeNet5和VGG等深度网络最终层方面实现了高准确率，性能损失极小。
• 树结构揭示，仅中间层中极少数、稀疏的特征（神经元）负责各类别的预测，实现了基于特征的可解释性。
• 通过掩码树识别出的特定特征，可全局改变网络的预测结果：例如，使网络在所有测试样本中始终预测某一类别，或完全避免预测某一特定类别。
• 该方法实现了一类新型的全局对抗攻击，其作用层级为特征而非输入像素，展示了对网络行为前所未有的控制能力。
• 该方法成功识别并操控了导致特定类别对之间误分类的特征集合，例如在MNIST中使网络混淆'3'与'8'。
• 该方法在不同数据集和架构上均表现稳健，在MNIST和ImageNet上使用VGG和LeNet5均展现出一致的可解释性与控制能力。