[论文解读] Bounding and Counting Linear Regions of Deep Neural Networks

Thiago Serra, Christian Tjandraatmadja+1 more|arXiv (Cornell University)|Nov 6, 2017

Advanced Neural Network Applications参考文献 22被引用 47

一句话总结

本文提出了深度ReLU和maxout网络中线性区域最大数量的更紧致理论界，引入了用于精确计数训练网络中这些区域的混合整数线性规划（MILP）公式，并表明当输入维度超过神经元数量时，浅层网络在区域计数上可能优于深层网络——为神经网络表达能力和容量提供了新见解。

ABSTRACT

We investigate the complexity of deep neural networks (DNN) that represent piecewise linear (PWL) functions. In particular, we study the number of linear regions, i.e. pieces, that a PWL function represented by a DNN can attain, both theoretically and empirically. We present (i) tighter upper and lower bounds for the maximum number of linear regions on rectifier networks, which are exact for inputs of dimension one; (ii) a first upper bound for multi-layer maxout networks; and (iii) a first method to perform exact enumeration or counting of the number of regions by modeling the DNN with a mixed-integer linear formulation. These bounds come from leveraging the dimension of the space defining each linear region. The results also indicate that a deep rectifier network can only have more linear regions than every shallow counterpart with same number of neurons if that number exceeds the dimension of the input.

研究动机与目标

• 改进具有分段线性（PWL）激活函数的深度神经网络（DNN）中线性区域最大数量的理论界。
• 解决现有方法在训练后的DNN中精确计数线性区域的缺失，特别是针对ReLU和maxout架构。
• 研究网络深度、宽度、输入维度与最终线性区域数量之间的关系。
• 评估线性区域数量是否与泛化性能和模型容量相关。
• 识别浅层网络在何种条件下可超越深层网络的区域计数，挑战关于深度优势的常规假设。

提出的方法

• 通过分析定义每个区域的空间维度，推导出深度ReLU网络中线性区域最大数量的更紧致上界和下界。
• 提出一种混合整数线性规划（MILP）公式，以建模ReLU和maxout网络的分段线性行为，从而实现线性区域的精确枚举。
• 利用MILP公式对MNIST数据集上两个隐藏层共22个神经元的小型训练ReLU网络进行精确的线性区域计数。
• 将MILP方法应用于推导多层maxout网络的首个上界。
• 采用一维构造方法，证明在输入维度为1时线性区域数量的精确最大值，以验证理论界。
• 使用高性能计算机上的CPLEX验证该方法，测量多种网络配置下的运行时间和区域计数。

实验结果

研究问题

• RQ1 深度ReLU网络中线性区域数量的最紧致可能上界和下界是什么，特别是在一维输入情况下？
• RQ2 是否可以在训练后的DNN中实现线性区域的精确计数，这种方法如何帮助评估理论界的紧致性？
• RQ3 在何种条件下，浅层网络可实现比具有相同参数量的深层网络更多的线性区域？
• RQ4 在实际DNN中，线性区域数量与训练和测试性能之间有何关联？
• RQ5 多层maxout网络在多大程度上首次获得了关于线性区域的理论上限？

主要发现

• 所提出的ReLU网络的上界比以往工作更紧致，且在一维输入情况下已通过精确结果验证。
• 对于ReLU网络，当输入维度超过总神经元数时，浅层架构可实现比深层架构更多的线性区域。
• 首次推导出多层maxout网络的上界，将理论分析扩展至此类激活函数。
• 通过MILP实现的精确计数表明，训练后MNIST网络的实际区域计数显著低于以往理论上的上界，验证了更紧致界的需求。
• 观察到瓶颈效应：减小早期层的宽度会极大限制线性区域数量，无论后续层的深度如何。
• 深度与区域计数之间存在非单调关系，最优深度随网络规模增大而增加，随输入维度增大而减小，表明应根据这些因素调整深度。