[论文解读] Efficiently testing local optimality and escaping saddles for ReLU networks

Chulhee Yun, Suvrit Sra+1 more|arXiv (Cornell University)|Sep 28, 2018

Energy Efficient Wireless Sensor Networks参考文献 37被引用 5

一句话总结

该论文提出了一种理论上高效的算法，通过利用多面体几何将两层ReLU网络中的局部最优性和鞍点逃逸问题转化为每个隐藏节点一个凸二次规划（QP），O(M)个不等式测试，以及一个或少数几个非凸QP。该方法能高效识别局部最小值、二阶驻点或下降方向，在良性情况下实现指数收敛，即使在困难情况下也保持可管理的复杂度。

ABSTRACT

We provide a theoretical algorithm for checking local optimality and escaping saddles at nondifferentiable points of empirical risks of two-layer ReLU networks. Our algorithm receives any parameter value and returns: local minimum, second-order stationary point, or a strict descent direction. The presence of $M$ data points on the nondifferentiability of the ReLU divides the parameter space into at most $2^M$ regions, which makes analysis difficult. By exploiting polyhedral geometry, we reduce the total computation down to one convex quadratic program (QP) for each hidden node, $O(M)$ (in)equality tests, and one (or a few) nonconvex QP. For the last QP, we show that our specific problem can be solved efficiently, in spite of nonconvexity. In the benign case, we solve one equality constrained QP, and we prove that projected gradient descent solves it exponentially fast. In the bad case, we have to solve a few more inequality constrained QPs, but we prove that the time complexity is exponential only in the number of inequality constraints. Our experiments show that either benign case or bad case with very few inequality constraints occurs, implying that our algorithm is efficient in most cases.

研究动机与目标

• 为解决ReLU网络损失曲面中不可微点的分析挑战，这些点对局部最优性至关重要，但因非线性和分段可微性而难以处理。
• 开发一种理论算法，用于判断给定点是否为局部最小值、二阶驻点（SOSP）或具有严格下降方向。
• 为ReLU网络中的任意参数提供最优性或下降方向的证明，从而在训练中实现更优的终止条件。
• 通过利用几何结构和凸松弛技术，降低在非凸、非光滑ReLU网络中检查最优性的计算负担。

提出的方法

• 该算法基于M个数据点将参数空间划分为最多2^M个区域，利用ReLU单元中不可微性发生在w^T x + b = 0时的特性。
• 对每个隐藏节点，求解一个凸二次规划（QP），以捕捉局部曲率和次梯度行为。
• 执行O(M)个不等式和等式测试，以确定各数据点上的活动约束和次梯度一致性。
• 对于最终的非凸QP，该方法证明其可高效求解——在具有等式约束的良性情况下，可通过投影梯度下降实现指数级快速收敛。
• 在包含不等式约束的更复杂情况下，时间复杂度仅随此类约束数量呈指数增长，而不依赖于总数据量。
• 该方法利用多面体几何来建模不可微点处的次微分和类似Hessian的信息，从而实现二阶分析。

实验结果

研究问题

• RQ1 我们能否高效测试两层ReLU网络参数空间中给定点是否为局部最小值、SOSP或具有下降方向？
• RQ2 如何克服在非光滑、非凸ReLU网络中检查局部最优性的计算不可行性？
• RQ3 在ReLU网络中不可微点处逃逸鞍点的计算复杂度是多少？
• RQ4 我们能否设计一种方法，即使在非凸性存在的情况下，也能保证在非光滑边界处计算出下降方向？

主要发现

• 该算法将全局最优性测试简化为每个隐藏节点求解一个凸QP、O(M)个不等式/等式测试，以及一个或少数几个非凸QP，从而实现计算上的可行性。
• 在良性情况（等式约束QP）下，投影梯度下降可实现指数级快速求解最终QP，确保快速收敛。
• 在不良情况（不等式约束QP）下，时间复杂度仅随不等式约束数量呈指数增长，而不依赖于数据点数量。
• 实证证据表明，实践中通常出现良性情况，或不等式约束极少的不良情况，意味着在大多数现实场景中均具有高效率。
• 该方法提供完整的证明：对任意输入点，其结果要么是局部最小值，要么是二阶驻点，要么是严格下降方向。
• 该方法通过利用多面体几何建模次微分和曲率，成功应对了ReLU网络中非光滑性的根本挑战。