[论文解读] Global Optimality Beyond Two Layers: Training Deep ReLU Networks via Convex Programs

Tolga Ergen, Mert Pilancı|arXiv (Cornell University)|Oct 11, 2021

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出了一种凸优化框架，通过组l1-范数正则化，将具有多个三层子网络的深度ReLU网络训练问题精确重构为全局可解的凸问题。对于固定宽度的网络，证明了其多项式时间全局最优性，揭示了通过凸对偶性实现的隐式稀疏性诱导正则化机制。

ABSTRACT

Understanding the fundamental mechanism behind the success of deep neural networks is one of the key challenges in the modern machine learning literature. Despite numerous attempts, a solid theoretical analysis is yet to be developed. In this paper, we develop a novel unified framework to reveal a hidden regularization mechanism through the lens of convex optimization. We first show that the training of multiple three-layer ReLU sub-networks with weight decay regularization can be equivalently cast as a convex optimization problem in a higher dimensional space, where sparsity is enforced via a group $\ell_1$-norm regularization. Consequently, ReLU networks can be interpreted as high dimensional feature selection methods. More importantly, we then prove that the equivalent convex problem can be globally optimized by a standard convex optimization solver with a polynomial-time complexity with respect to the number of samples and data dimension when the width of the network is fixed. Finally, we numerically validate our theoretical results via experiments involving both synthetic and real datasets.

研究动机与目标

• 理解成功训练深度ReLU网络背后的隐式正则化机制。
• 构建一个统一框架，将非凸深度网络训练转化为凸优化问题。
• 证明当网络宽度固定时，等价的凸问题可在多项式时间内实现全局优化。
• 建立凸公式中稀疏性与原始非凸架构中活跃子网络数量之间的直接映射关系。
• 将先前针对两层网络的凸重构方法推广至具有任意凸损失函数和权重衰减的更深、多子网络架构。

提出的方法

• 将具有多个三层子网络的深度ReLU网络训练问题建模为带权重衰减正则化的非凸优化问题。
• 应用凸对偶性，推导出在高维空间中的等价凸问题，其中通过子网络参数的组l1-范数正则化来强制实现稀疏性。
• 利用Fenchel共轭对偶性推导对偶问题，确保原始问题与凸公式之间的强对偶性和精确等价性。
• 引入一种重标度变换（引理1），以实现非凸问题与凸问题之间的等价性。
• 证明当网络宽度固定时，等价凸问题在样本数量和数据维度上均为多项式时间可全局优化。
• 通过矩阵F-范数正则化和基于迹的Fenchel共轭，将该框架扩展至向量输出情形。

实验结果

研究问题

• RQ1 具有多个三层子网络的深度ReLU网络训练能否被精确重构为凸优化问题？
• RQ2 深度ReLU网络成功训练背后的隐式正则化机制是什么？能否被显式刻画？
• RQ3 该凸重构是否允许在多项式时间内对原始非凸问题实现全局优化？
• RQ4 凸公式中的稀疏性与原始架构中活跃子网络数量之间有何关系？
• RQ5 该框架能否推广至任意凸损失函数和权重衰减正则化？

主要发现

• 带权重衰减的多个三层ReLU子网络的训练，精确等价于高维空间中具有组l1-范数正则化的凸优化问题。
• 当网络宽度固定时，等价凸问题可在样本数量和数据维度上实现多项式时间全局优化。
• 凸公式中的稀疏性直接对应于原始非凸架构中活跃子网络数量的减少。
• 隐式正则化机制被揭示为组l1-范数正则化，其在高维空间中促进特征选择。
• 该框架将先前针对两层网络的凸重构推广至具有任意凸损失函数（包括平方损失、交叉熵损失和合页损失）的更深架构。
• 在合成数据集和真实数据集上的数值实验验证了理论等价性以及凸优化方法的有效性。