[论文解读] Finding Invariants in Deep Neural Networks.

Divya Gopinath, Ankur Taly+2 more|arXiv (Cornell University)|Apr 29, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用 5

一句话总结

本文提出自动化技术，通过分析前馈深度神经网络中神经元的激活模式，推断不变性质。它提取凸输入不变量和层不变量，以增强模型的可解释性、鲁棒性、对抗样本检测能力以及知识蒸馏效果，在MNIST和ACASXU网络上验证了其有效性。

ABSTRACT

We present techniques for automatically inferring invariant properties of feed-forward neural networks. Our insight is that feed forward networks should be able to learn a decision logic that is captured in the activation patterns of its neurons. We propose to extract such decision patterns that can be considered as invariants of the network with respect to a certain output behavior. We present techniques to extract input invariants as convex predicates on the input space, and layer invariants that represent features captured in the hidden layers. We apply the techniques on the networks for the MNIST and ACASXU applications. Our experiments highlight the use of invariants in a variety of applications, such as explainability, providing robustness guarantees, detecting adversaries, simplifying proofs and network distillation.

研究动机与目标

• 自动推断反映一致决策逻辑的前馈神经网络中的不变性质。
• 识别输入空间上的凸谓词形式的输入不变量，以捕捉网络行为的稳定性。
• 提取表示隐藏层中学习特征的层不变量。
• 将这些不变量应用于提升模型的可解释性、鲁棒性与验证能力。
• 在MNIST和ACASXU等真实世界基准上评估该方法，以实现实际验证。

提出的方法

• 通过分析不同输入下的神经元激活模式，识别网络中重复出现的决策逻辑。
• 通过构建刻画导致特定输出的输入区域的凸谓词，提取输入不变量。
• 通过分析隐藏层中的特征表示，推导层不变量，以捕捉不变的结构模式。
• 利用多面体抽象与约束求解技术，计算并验证输入空间与隐藏空间中的不变量。
• 利用不变量简化证明过程、检测对抗样本，并指导知识蒸馏。
• 将该框架应用于MNIST和ACASXU上的训练网络，实际提取并验证不变量。

实验结果

研究问题

• RQ1 如何从前馈神经网络的激活模式中自动推断不变性质？
• RQ2 哪些类型的不变量——输入级或层级——可以有效提取并用于解释网络行为？
• RQ3 这些不变量在多大程度上能提升鲁棒性保证与对抗样本检测能力？
• RQ4 不变量能否简化深度网络的形式化验证与证明构建？
• RQ5 提取的不变量在从大模型蒸馏知识方面有多高效？

主要发现

• 该方法成功提取了凸输入不变量，准确捕捉了MNIST和ACASXU网络中的稳定决策边界。
• 层不变量揭示了隐藏层中一致的特征表示，支持模型可解释性。
• 通过识别与学习到的不变模式的偏离，不变量可提升对抗样本的检测能力。
• 提取的不变量通过降低验证网络行为的复杂度，简化了形式化证明。
• 该方法通过识别并保留小模型中的关键不变行为，支持知识蒸馏。
• 实证评估证实了不变量在鲁棒性与可解释性等多个应用中的实用性。