[论文解读] A Tropical Approach to Neural Networks with Piecewise Linear Activations

Vasileios Charisopoulos, Petros Maragos|arXiv (Cornell University)|May 22, 2018

Polynomial and algebraic computation参考文献 38被引用 23

一句话总结

本文提出了一种新颖的热带几何框架，用于分析和界定具有分段线性激活函数（如ReLU和maxout）的神经网络中的线性区域数量。通过将这些激活函数建模为热带多项式，并将线性区域与牛顿多面体的顶点关联，作者推导出更紧致的上界：min{2m, ∑ⱼ₌₀ⁿ (m choose j)}，并提出一种随机采样算法，可在不求解计算量庞大的线性规划问题的情况下，高效估计线性区域的数量。

ABSTRACT

We present a new, unifying approach following some recent developments on the complexity of neural networks with piecewise linear activations. We treat neural network layers with piecewise linear activations as tropical polynomials, which generalize polynomials in the so-called $(\max, +)$ or tropical algebra, with possibly real-valued exponents. Motivated by the discussion in (arXiv:1402.1869), this approach enables us to refine their upper bounds on linear regions of layers with ReLU or leaky ReLU activations to $\min\left\{ 2^m, \sum_{j=0}^n \binom{m}{j} ight\}$, where $n, m$ are the number of inputs and outputs, respectively. Additionally, we recover their upper bounds on maxout layers. Our work follows a novel path, exclusively under the lens of tropical geometry, which is independent of the improvements reported in (arXiv:1611.01491, arXiv:1711.02114). Finally, we present a geometric approach for effective counting of linear regions using random sampling in order to avoid the computational overhead of exact counting approaches

研究动机与目标

• 通过热带代数统一分析分段线性神经网络中的线性区域。
• 改进现有关于ReLU和leaky ReLU网络中线性区域数量的上界。
• 利用相同的热带框架将分析扩展至maxout网络。
• 开发一种计算高效的单层神经网络线性区域数量近似方法。
• 提供一种基于几何与采样的替代方法，以替代通过混合整数规划或线性规划进行的精确计数。

提出的方法

• 将具有分段线性激活函数的神经网络层建模为具有实数指数的(max, +)代数中的热带多项式。
• 建立线性区域与相关热带多项式牛顿多面体顶点之间的双射关系。
• 利用热带多项式与其牛顿多面体之间的对偶性，推导出线性区域数量的上界。
• 提出一种随机算法，通过采样随机线性泛函来识别表示层输出的多面体Minkowski和的极值点（顶点）。
• 改编凸多面体理论中的一种方法，通过泛函最小化来计数顶点，并提供概率保证。
• 通过将采样限制在泛函的第一个分量为正的范围内，将该算法扩展至仅计数上包络上的顶点，这与ReLU和maxout激活函数相关。

实验结果

研究问题

• RQ1 如何利用热带几何来表征具有分段线性激活函数的神经网络层中的线性区域数量？
• RQ2 在此框架下，能否为ReLU和leaky ReLU网络中的线性区域数量推导出更紧致的上界？
• RQ3 该方法是否可应用于maxout网络以恢复已知的上界？
• RQ4 在实践中，如何高效地近似线性区域的数量，而无需求解计算量巨大的优化问题？
• RQ5 针对基于采样的算法，能提供哪些关于计数线性区域的概率保证？

主要发现

• ReLU或leaky ReLU网络层中的线性区域数量被限制在min{2m, ∑ⱼ₌₀ⁿ (m choose j)}以内，其中n和m分别为输入和输出的数量。
• 所提出的热带框架通过分析其对应的牛顿多面体，恢复了maxout网络的已知上界。
• 随机采样算法为精确计数方法提供了一种实用的替代方案，避免了混合整数规划或线性规划带来的计算负担。
• 该算法在高概率下成功计数Minkowski和的所有顶点，样本复杂度取决于法锥的立体角。
• 对于上包络，只要样本数K满足K ≥ ˜N log(N/δ)，其中˜N依赖于最小法锥角度，该算法即可以高概率确保所有顶点都被计数。
• 该方法具有通用性，不仅适用于ReLU网络，还可推广至任何可表示为热带多项式的分段线性激活函数。