[论文解读] Deep Neural Networks as 0-1 Mixed Integer Linear Programs: A Feasibility Study

Matteo Fischetti, Jason Jo|arXiv (Cornell University)|Dec 17, 2017

Adversarial Robustness in Machine Learning参考文献 7被引用 58

一句话总结

该论文将带ReLU和池化的DNN表示为0-1 MILP，提出边界紧缩技术，并评估它们在特征可视化和对抗样本生成中的应用，在MNIST规模网络上给出计算结果。

ABSTRACT

Deep Neural Networks (DNNs) are very popular these days, and are the subject of a very intense investigation. A DNN is made by layers of internal units (or neurons), each of which computes an affine combination of the output of the units in the previous layer, applies a nonlinear operator, and outputs the corresponding value (also known as activation). A commonly-used nonlinear operator is the so-called rectified linear unit (ReLU), whose output is just the maximum between its input value and zero. In this (and other similar cases like max pooling, where the max operation involves more than one input value), one can model the DNN as a 0-1 Mixed Integer Linear Program (0-1 MILP) where the continuous variables correspond to the output values of each unit, and a binary variable is associated with each ReLU to model its yes/no nature. In this paper we discuss the peculiarity of this kind of 0-1 MILP models, and describe an effective bound-tightening technique intended to ease its solution. We also present possible applications of the 0-1 MILP model arising in feature visualization and in the construction of adversarial examples. Preliminary computational results are reported, aimed at investigating (on small DNNs) the computational performance of a state-of-the-art MILP solver when applied to a known test case, namely, hand-written digit recognition.

研究动机与目标

• 动机：将带有ReLU和池化激活的深度神经网络建模为0-1 MILP，以实现精确优化。
• 开发并分析一种边界紧缩技术，以减少MILP求解时间。
• 探索MILP模型在特征可视化和对抗样本构造方面的实际应用。
• 评估对小型DNN求解0-1 MILP的计算可行性，并讨论对更大规模网络的局限性。

提出的方法

• 用线性约束、二进制激活变量和指示约束来强制 x = ReLU(w^T y + b)，对每个ReLU单元进行建模。
• 为每一层引入 x^k、s^k 变量，以解耦 ReLU 输入的正部和负部。
• 通过对平均池化进行线性化，以及对最大池化引入二进制变量，将池化引入MILP。
• 提供逐层的边界紧缩预处理，通过对 x^k 和 s^k 进行优化来收紧用于指示约束的上界。
• 使用一个线性目标函数，将各层输出与激活指示结合起来，得到可求解的MILP形式。
• 通过添加特定于问题的线性约束（例如目标激活关系、输入修改边界等）来演示在特征可视化和对抗样本生成中的应用。

实验结果

研究问题

• RQ1 0-1 MILP 形式是否能够准确建模含有 ReLU 和池化激活的 DNN？
• RQ2 边界紧缩机制是否显著提升 DNN 的 MILP 可解性？
• RQ3 如何将0-1 MILP模型用于内部单元的特征可视化？
• RQ4 MILP 形式是否能够在可控输入修改下高效地产生对抗样本？

主要发现

• 含ReLU和池化的DNN的0-1 MILP模型是可行的，并可用于精确优化任务。
• 边界紧缩预处理相比基本模型显著提升MILP求解性能。
• 对于MNIST上的小型DNN，许多实例可以在几秒内求得证明最优解，尤其是在边界被紧缩时。
• 通过MILP的特征可视化可以得到对单位激活最大化的可证明最优输入模式，常常没有可识别的视觉模式。
• MILP框架可以在可控约束下构造对抗样本，展示在明确目标/约束下仅需极少的像素更改即可改变分类。
• 在更大规模的网络中，达到最优解的求解将变得计算上具有挑战性；可能需要更启发式的方法以实现实际规模。