[论文解读] Convex Geometry and Duality of Over-parameterized Neural Networks

Tolga Ergen, Mert Pilancı|arXiv (Cornell University)|Feb 25, 2020

Sparse and Compressive Sensing Techniques参考文献 56被引用 9

一句话总结

本论文提出了一种凸几何框架，用于分析过参数化的两层ReLU网络，表明最优解表现为凸集的极值点，从而诱导出类似于ℓ₁-范数稀疏性的隐式正则化。论文证明，对于一维和秩一数据，最优网络可实现线性样条插值，并通过凸松弛化和切割平面方法，提供闭式解和全局最优算法。

ABSTRACT

We develop a convex analytic approach to analyze finite width two-layer ReLU networks. We first prove that an optimal solution to the regularized training problem can be characterized as extreme points of a convex set, where simple solutions are encouraged via its convex geometrical properties. We then leverage this characterization to show that an optimal set of parameters yield linear spline interpolation for regression problems involving one dimensional or rank-one data. We also characterize the classification decision regions in terms of a kernel matrix and minimum $\ell_1$-norm solutions. This is in contrast to Neural Tangent Kernel which is unable to explain predictions of finite width networks. Our convex geometric characterization also provides intuitive explanations of hidden neurons as auto-encoders. In higher dimensions, we show that the training problem can be cast as a finite dimensional convex problem with infinitely many constraints. Then, we apply certain convex relaxations and introduce a cutting-plane algorithm to globally optimize the network. We further analyze the exactness of the relaxations to provide conditions for the convergence to a global optimum. Our analysis also shows that optimal network parameters can be also characterized as interpretable closed-form formulas in some practically relevant special cases.

研究动机与目标

• 开发一种凸分析框架，以理解过参数化两层ReLU网络中的隐式偏差。
• 将最优网络参数表征为凸集的极值点，将简洁性与几何结构联系起来。
• 将已知的一维线性样条插值结果推广至高维及秩一回归与分类任务。
• 通过凸松弛化和切割平面方法，为有限宽度网络提供全局最优训练算法。
• 建立凸松弛化精确的条件，确保收敛至全局最优解。

提出的方法

• 通过ReLU网络的凸几何表示，将正则化训练问题形式化为具有无限多个约束的有限维凸优化问题。
• 将最优解表征为凸集的极值点，其中通过数据自适应的、类似自编码器的结构来强制实现简洁性。
• 利用极对偶和规范优化，将对偶问题重述为与数据对齐向量的凸包相关的形式，从而与最小ℓ₁-范数解建立联系。
• 引入切割平面算法，通过迭代添加违反约束来求解具有无限多个约束的松弛凸问题。
• 在特殊情形（如一维、秩一数据）下推导出最优参数的精确解析表达式，从而实现闭式解。
• 通过分析在特定条件下凸松弛化的精确性，建立强对偶性并证明收敛至全局最优解。

实验结果

研究问题

• RQ1 如何利用凸几何形式化表征过参数化ReLU网络中对简洁解的隐式偏差？
• RQ2 有限宽度两层ReLU网络中，最优网络参数的几何结构是什么？其与线性样条插值有何关系？
• RQ3 能否通过凸松弛化和切割平面方法对有限宽度ReLU网络实现全局优化？
• RQ4 在何种条件下，网络训练问题的凸松弛化能产生精确的全局解？
• RQ5 ReLU网络的对偶框架如何与线性系统中经典的最小ℓ₁-范数解相关联？

主要发现

• 正则化训练问题的最优解是凸集的极值点，其中简洁性通过数据自适应的、类似自编码器的结构实现。
• 对于一维和秩一回归与分类任务，最优网络参数可实现线性样条插值，解释了经验观察结果。
• 对偶问题等价于一个规范优化问题，将网络解与线性系统的最小ℓ₁-范数解联系起来。
• 在特定条件下，训练问题的凸松弛化是精确的，从而可通过切割平面算法实现全局优化。
• 在特殊情形（如一维和秩一数据）下，推导出最优参数的闭式解，其显式公式涉及伪逆矩阵和范数阈值。
• 原问题与对偶问题之间存在强对偶性，验证了所推导解的最优性，并提供了理论保证。