[论文解读] Nearly-tight bounds on linear regions of piecewise linear neural networks

Qiang Hu, Hao Zhang|arXiv (Cornell University)|Oct 31, 2018

Advanced Memory and Neural Computing参考文献 14被引用 4

一句话总结

本文为分段线性神经网络（PLNN）中的线性区域数量提供了近乎紧致的解析边界，推导出单层PLNN的精确最大线性区域数，并为深层整流器网络提供了更紧致的上下界。结果表明，深度和非线性显著提升了模型的表达能力，边界随深度呈指数增长，而当输入维度固定时，随神经元数量和激活片段数量呈多项式增长。

ABSTRACT

The developments of deep neural networks (DNN) in recent years have ushered a brand new era of artificial intelligence. DNNs are proved to be excellent in solving very complex problems, e.g., visual recognition and text understanding, to the extent of competing with or even surpassing people. Despite inspiring and encouraging success of DNNs, thorough theoretical analyses still lack to unravel the mystery of their magics. The design of DNN structure is dominated by empirical results in terms of network depth, number of neurons and activations. A few of remarkable works published recently in an attempt to interpret DNNs have established the first glimpses of their internal mechanisms. Nevertheless, research on exploring how DNNs operate is still at the initial stage with plenty of room for refinement. In this paper, we extend precedent research on neural networks with piecewise linear activations (PLNN) concerning linear regions bounds. We present (i) the exact maximal number of linear regions for single layer PLNNs; (ii) a upper bound for multi-layer PLNNs; and (iii) a tighter upper bound for the maximal number of liner regions on rectifier networks. The derived bounds also indirectly explain why deep models are more powerful than shallow counterparts, and how non-linearity of activation functions impacts on expressiveness of networks.

研究动机与目标

• 为单层分段线性神经网络（PLNN）的线性区域数量建立精确的最大边界。
• 为深层PLNN的线性区域数量推导上界，表明其随深度呈指数增长。
• 通过利用激活模式的几何约束，收紧现有关于整流器网络中线性区域数量的上下界。
• 分析网络深度与激活函数非线性如何共同影响深层PLNN的表达能力。

提出的方法

• 基于隐藏神经元数量和激活片段数量，推导出单层PLNN中最大线性区域数量的精确渐近表达式。
• 利用层间维度与激活组之间的递归关系，建模激活模式在深层网络中的传播方式。
• 应用Zaslavsky定理于超平面排列，计算最终层中激活模式的数量。
• 引入基于线性区域和激活模式几何特性的约束（例如全神经元非激活状态），以优化边界。
• 根据每组中的神经元数量对隐藏层配置进行分类，并使用二项式与幂次项计算区域数量。
• 提出用于下界的递归公式，根据神经元在各组间分布的余数（如 r_rem^l）区分不同情形。

实验结果

研究问题

• RQ1 对于给定神经元数量和激活片段数量的单层PLNN，其可实现的线性区域最大精确数量是多少？
• RQ2 在深层PLNN中，线性区域数量如何随深度变化？最紧致的上界是什么？
• RQ3 在考虑激活模式约束的前提下，整流器网络中线性区域数量的改进上下界是什么？
• RQ4 线性区域的几何特性以及全非激活神经元模式如何影响深层PLNN的表达能力？
• RQ5 激活函数的非线性与网络深度在多大程度上共同决定了模型表示复杂函数的能力？

主要发现

• 当输入维度固定时，单层PLNN中线性区域的精确最大数量随隐藏神经元数量和激活片段数量呈渐近多项式增长。
• 深层PLNN中线性区域数量的上界随深度呈指数增长，表明深层网络显著比浅层网络更具表达能力。
• 对于整流器网络，推导出的上下界显著优于先前结果，且在某些条件下，上界渐近逼近下界。
• 后续层的维度取决于前一层中激活组的数量，该依赖关系通过二项式与幂次项递归建模。
• 当激活模式包含全神经元非激活状态时，下一层的维度可能降低，该情况在递归公式中被显式考虑。
• 最终层的区域数量通过Zaslavsky定理计算，当无神经元激活时，激活模式数量对应一个二项式系数。