[论文解读] Revealing the Structure of Deep Neural Networks via Convex Duality

Tolga Ergen, Mert Pilancı|arXiv (Cornell University)|Feb 22, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用 14

一句话总结

本文提出了一种使用对偶性的凸分析框架，用于表征范数正则化深度神经网络中的最优权矩阵。它证明了在数据为白化或秩一的深度线性网络与ReLU网络中，最优权矩阵会与前一层对齐，并表明此类网络在1D情况下实现线性样条插值，推广了先前针对两层网络的结果。该框架还通过批量归一化网络中的单纯形等角紧框架解释了神经网络坍缩（Neural Collapse）现象。

ABSTRACT

We study regularized deep neural networks (DNNs) and introduce a convex analytic framework to characterize the structure of the hidden layers. We show that a set of optimal hidden layer weights for a norm regularized DNN training problem can be explicitly found as the extreme points of a convex set. For the special case of deep linear networks, we prove that each optimal weight matrix aligns with the previous layers via duality. More importantly, we apply the same characterization to deep ReLU networks with whitened data and prove the same weight alignment holds. As a corollary, we also prove that norm regularized deep ReLU networks yield spline interpolation for one-dimensional datasets which was previously known only for two-layer networks. Furthermore, we provide closed-form solutions for the optimal layer weights when data is rank-one or whitened. The same analysis also applies to architectures with batch normalization even for arbitrary data. Therefore, we obtain a complete explanation for a recent empirical observation termed Neural Collapse where class means collapse to the vertices of a simplex equiangular tight frame.

研究动机与目标

• 开发一种凸分析框架，用于表征正则化深度神经网络中的最优解。
• 解释深度线性与ReLU网络中最优隐藏层权值的结构性质。
• 将先前针对两层网络的1D样条插值结果，推广至任意深度的ReLU网络。
• 为最先进模型中观察到的Neural Collapse现象提供理论解释。
• 通过引入批量归一化，将结果从白化或秩一数据推广至任意数据分布。

提出的方法

• 使用凸对偶性，将正则化DNN训练问题重新表述为在凸集极值点上的对偶优化问题。
• 通过凸对偶性与KKT条件，推导出在数据为秩一或白化假设下的最优权矩阵的闭式解。
• 通过利用ReLU激活函数的结构与范数正则化，将该框架应用于深度ReLU网络。
• 利用批量归一化将结果扩展至任意数据分布，从而无需依赖数据白化。
• 通过分析对偶问题与权值对齐性质，证明最优解对应于1D情况下的线性样条插值。
• 证明在类别分布均衡与范数正则化条件下，类别均值会坍缩至单纯形等角紧框架的顶点。

实验结果

研究问题

• RQ1 能否使用凸对偶性显式表征正则化深度神经网络中的最优权矩阵？
• RQ2 在范数正则化下，深度ReLU网络中连续层之间的权值对齐是否成立？
• RQ3 在1D设置下，范数正则化的深度ReLU网络是否通过线性样条实现数据插值？
• RQ4 能否通过凸对偶性与权值对齐，理论解释Neural Collapse现象？
• RQ5 批量归一化是否使相同结构表征适用于任意数据分布？

主要发现

• 对于深度线性网络，每个最优权矩阵均通过凸对偶性与前一层对齐。
• 在数据为白化或秩一的深度ReLU网络中，最优权矩阵也表现出相同的对齐性质。
• 范数正则化的深度ReLU网络在1D数据上实现线性样条插值，将先前针对两层网络的结果推广至任意深度。
• 当数据为秩一或白化时，推导出最优隐藏层权矩阵的闭式解。
• 引入批量归一化后，相同权值对齐与样条插值结果在任意数据分布下依然成立。
• 该框架完全解释了Neural Collapse现象：在类别分布均衡条件下，类别均值坍缩至单纯形等角紧框架的顶点。