[论文解读] Equivalent and Approximate Transformations of Deep Neural Networks

Abhinav Kumar, Thiago Serra+1 more|arXiv (Cornell University)|May 27, 2019

Adversarial Robustness in Machine Learning参考文献 55被引用 11

一句话总结

本文通过识别并移除始终激活或始终不激活的稳定单元（stable units）以及合并层，提出了深度ReLU网络的等价变换与近似变换，实现了无损压缩。证明了任意ReLU网络均可通过仅使用两层隐藏层的浅层网络实现全局近似，结合$l_1$-正则化与对抗性训练，显著减少了线性区域数量，从而实现高效的模型压缩与近似。

ABSTRACT

Two networks are equivalent if they produce the same output for any given input. In this paper, we study the possibility of transforming a deep neural network to another network with a different number of units or layers, which can be either equivalent, a local exact approximation, or a global linear approximation of the original network. On the practical side, we show that certain rectified linear units (ReLUs) can be safely removed from a network if they are always active or inactive for any valid input. If we only need an equivalent network for a smaller domain, then more units can be removed and some layers collapsed. On the theoretical side, we constructively show that for any feed-forward ReLU network, there exists a global linear approximation to a 2-hidden-layer shallow network with a fixed number of units. This result is a balance between the increasing number of units for arbitrary approximation with a single layer and the known upper bound of $\lceil log(n_0+1) ceil +1$ layers for exact representation, where $n_0$ is the input dimension. While the transformed network may require an exponential number of units to capture the activation patterns of the original network, we show that it can be made substantially smaller by only accounting for the patterns that define linear regions. Based on experiments with ReLU networks on the MNIST dataset, we found that $l_1$-regularization and adversarial training reduces the number of linear regions significantly as the number of stable units increases due to weight sparsity. Therefore, we can also intentionally train ReLU networks to allow for effective loss-less compression and approximation.

研究动机与目标

• 研究深度ReLU网络是否可被转换为参数更少的等价或近似网络。
• 识别ReLU单元在何种条件下可被安全移除或合并而不改变网络输出。
• 为仅使用两层隐藏层的深层网络全局线性近似建立理论基础。
• 评估正则化与对抗性训练对线性区域数量与激活模式的影响。
• 通过结构简化实现深度网络的无损压缩与高效近似。

提出的方法

• 在输入域内识别始终激活或始终不激活的稳定ReLU单元，以实现安全移除。
• 在仅需限定输入域时，利用局部等价性实现层的合并与单元的移除。
• 基于激活模式，构建任意ReLU网络的全局线性近似，使用仅含两层隐藏层的浅层网络。
• 通过激活模式定义线性区域，并仅关注相关模式以减小网络规模。
• 应用$l_1$-正则化与对抗性训练以诱导权重稀疏化并稳定单元，减少激活模式。
• 在MNIST数据集上，通过不同架构与正则化方案的实验评估，测量激活模式与收敛性。

实验结果

研究问题

• RQ1 是否可通过移除稳定单元，将ReLU网络转换为参数更少的等价网络？
• RQ2 局部等价性在多大程度上可实现层的合并与进一步的网络简化？
• RQ3 是否存在理论保证，表明任意深层ReLU网络均可被两层浅层网络全局近似？
• RQ4 $l_1$-正则化与对抗性训练如何影响线性区域数量与激活模式？
• RQ5 基于激活模式的结构简化是否能实现深度网络的有效无损压缩？

主要发现

• 在5,5,5,5架构中，激活模式数量从原始网络的105,480降至$l_2$正则化下的1,121与$l_1$正则化下的1,121，表明正则化可显著减少模式数量。
• 在5,5,5,5网络中，结合$l_1$正则化与对抗性训练，激活模式数量降至354，为所有测试方法中的最低值。
• 在更深的网络架构（如8,8,8,8,8,8）中，结合$l_1$正则化与对抗性训练，激活模式数量从200,000以上降至8,157，显示出强大的压缩潜力。
• 采用$l_1$正则化与对抗性训练的模型在验证准确率上达到最高（最高93.92%），同时大幅减少了线性区域。
• 理论分析证实，任意ReLU网络均可被仅含两层隐藏层的浅层网络全局近似，实现深度与宽度的平衡。
• 始终激活或始终不激活的稳定单元可被安全移除而不影响输出，当输入域受限时，可实现无损压缩。