[論文レビュー] Revealing the Structure of Deep Neural Networks via Convex Duality

Tolga Ergen, Mert Pilancı|arXiv (Cornell University)|Feb 22, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用数 14

ひとこと要約

この論文は、正則化付き深層ニューラルネットワークにおける最適重み行列を特徴付けるために双対性を用いた凸解析的枠組みを導入する。深層線形およびReLUネットワークにおいて、ホワイト化またはランク1のデータの場合、最適重みは前の層と整合する。また、1次元では線形スプライン補間を達成し、従来の2層ネットワークの結果を一般化する。この枠組みは、バッチ正規化付きネットワークにおける単体等角フレームを用いたニューラルコラプスの説明も可能である。

ABSTRACT

We study regularized deep neural networks (DNNs) and introduce a convex analytic framework to characterize the structure of the hidden layers. We show that a set of optimal hidden layer weights for a norm regularized DNN training problem can be explicitly found as the extreme points of a convex set. For the special case of deep linear networks, we prove that each optimal weight matrix aligns with the previous layers via duality. More importantly, we apply the same characterization to deep ReLU networks with whitened data and prove the same weight alignment holds. As a corollary, we also prove that norm regularized deep ReLU networks yield spline interpolation for one-dimensional datasets which was previously known only for two-layer networks. Furthermore, we provide closed-form solutions for the optimal layer weights when data is rank-one or whitened. The same analysis also applies to architectures with batch normalization even for arbitrary data. Therefore, we obtain a complete explanation for a recent empirical observation termed Neural Collapse where class means collapse to the vertices of a simplex equiangular tight frame.

研究の動機と目的

• 正則化付き深層ニューラルネットワークにおける最適解を特徴付ける凸解析的枠組みの構築。
• 深層線形およびReLUネットワークにおける最適隠れ層重みの構造的性質の解明。
• 従来の2層ネットワークに限らない、任意の深さのReLUネットワークへの1次元スプライン補間結果の一般化。
• 最先端モデルで観察されたニューラルコラプス現象の理論的説明の提供。
• ホワイト化またはランク1のデータに限定されない結果の拡張として、バッチ正規化の統合。

提案手法

• 正則化付きDNN学習問題を、凸集合の極点上での最適化問題に双対的に再定式化する。
• 双対性とKKT条件を用いて、ランク1またはホワイト化されたデータの仮定の下で最適重み行列の閉形式解を導出する。
• ReLU活性化関数とノルム正則化の構造を活用することで、この枠組みを深層ReLUネットワークに適用する。
• バッチ正規化を用いることで、ホワイトニングの必要性を排除し、任意のデータ分布に結果を拡張する。
• 双対問題の解析と重みの整合性を用いて、最適解が1次元で線形スプライン補間に対応することを証明する。
• バランスの取れたクラス分布とノルム正則化の下で、クラス平均が単体等角フレームの頂点に収束することを確立する。

実験結果

リサーチクエスチョン

• RQ1 正則化付き深層ニューラルネットワークにおける最適重み行列は、凸双対性を用いて明示的に特徴付け可能か？
• RQ2 ノルム正則化のもとで、深層ReLUネットワークにおいて連続層間の重み整合性は発生するか？
• RQ3 ノルム正則化付き深層ReLUネットワークは、1次元設定においてデータを線形スプラインで補間するか？
• RQ4 凸双対性と重み整合性を用いて、ニューラルコラプス現象を理論的に説明可能か？
• RQ5 バッチ正規化により、任意のデータ分布に対しても同様の構造的特徴が得られるか？

主な発見

• 深層線形ネットワークでは、各最適重み行列が凸双対性により直前の層と整合する。
• ホワイト化またはランク1のデータを前提とした深層ReLUネットワークでは、最適重みも同様に整合性を示す。
• ノルム正則化付き深層ReLUネットワークは、1次元データに対して線形スプライン補間を達成し、従来の2層ネットワークの結果を任意の深さに一般化する。
• データがランク1またはホワイト化されている場合、最適隠れ層重みの閉形式解が導出可能である。
• バッチ正規化を用いることで、任意のデータ分布に対しても同様の重み整合性およびスプライン補間の結果が成立する。
• この枠組みはニューラルコラプスを完全に説明する：バランスの取れたクラス分布とノルム正則化の下で、クラス平均は単体等角フレームの頂点に収束する。