[論文レビュー] Convex Duality of Deep Neural Networks

Tolga Ergen, Mert Pilancı|arXiv (Cornell University)|Feb 22, 2020

Sparse and Compressive Sensing Techniques参考文献 6被引用数 8

ひとこと要約

この論文は、ノルム正則化を施した深層ニューラルネットワークにおける凸双対性フレームワークを導入し、線形ネットワークおよびReLUネットワークにおける最適な重み行列がランク1であり、前の層と整合していることを証明する。深層ネットワークに対し強い双対性を確立し、正則化されたReLUネットワークが1次元データに対してスプライン補間を達成することを示し、2層ネットワークにおける既知の結果を拡張する。

ABSTRACT

We study regularized deep neural networks and introduce an analytic framework to characterize the structure of the hidden layers. We show that a set of optimal hidden layer weight matrices for a norm regularized deep neural network training problem can be explicitly found as the extreme points of a convex set. For two-layer linear networks, we first formulate a convex dual program and prove that strong duality holds. We then extend our derivations to prove that strong duality also holds for certain deep networks. In particular, for linear deep networks, we show that each optimal layer weight matrix is rank-one and aligns with the previous layers when the network output is scalar. We also extend our analysis to the vector outputs and other convex loss functions. More importantly, we show that the same characterization can also be applied to deep ReLU networks with rank-one inputs, where we prove that strong duality still holds and optimal layer weight matrices are rank-one for scalar output networks. As a corollary, we prove that norm regularized deep ReLU networks yield spline interpolation for one-dimensional datasets which was previously known only for two-layer networks. We then verify our theoretical results via several numerical experiments.

研究の動機と目的

• ノルム正則化を施した深層ニューラルネットワークにおける隠れ層構造を特徴付ける解析的フレームワークの構築を目的とする。
• 深層線形ネットワークにおける強い双対性を証明し、ランク1の入力を用いたReLUネットワークへと拡張する。
• 最適な重み行列を凸集合の極点として特徴付ける。
• ノルム正則化を施したReLUネットワークが1次元データをスプライン補間することを確立する。これは、2層ネットワークにおける既知の結果を拡張する。

提案手法

• 2層線形ネットワークに対して凸双対問題を定式化し、強い双対性が成立することを証明する。
• 最適な重み行列の構造を分析することで、凸双対性フレームワークを深層線形ネットワークへと拡張する。
• スカラ出力を持つ深層線形ネットワークにおいて、各最適な重み行列がランク1であり、以前の層の積と整合することを証明する。
• ベクトル出力および他の凸損失関数を分析し、双対性の結果を一般化する。
• ランク1の入力を用いたReLUネットワークへと分析を拡張し、強い双対性が依然として成立することを証明する。
• 凸双対性を用いて、ノルム正則化を施したReLUネットワークが1次元データセットに対してスプライン補間を生成することを示す。

実験結果

リサーチクエスチョン

• RQ1 ノルム正則化の下で、深層線形ネットワークに対し強い双対性を確立できるか？
• RQ2 深層線形ネットワークにおける最適な重み行列はランク1であり、以前の層と整合しているか？
• RQ3 凸双対性フレームワークは、ランク1の入力を有するReLUネットワークへと拡張可能か？
• RQ4 スカラ出力を持つノルム正則化ReLUネットワークは、1次元データに対してスプライン補間を達成するか？
• RQ5 双対性フレームワークは、ベクトル出力および他の凸損失関数へと一般化可能か？

主な発見

• ノルム正則化を施した2層線形ネットワークでは強い双対性が成立し、正確な双対最適化が可能である。
• スカラ出力を持つ深層線形ネットワークでは、各最適な重み行列がランク1であり、以前の層の積と整合している。
• ベクトル出力を持つ深層線形ネットワークでは、双対性フレームワークが一般の凸損失関数へと拡張可能である。
• ランク1の入力を有するノルム正則化ReLUネットワークでは強い双対性が成立し、スカラ出力の場合に最適な重みは依然としてランク1のままである。
• 同じ双対性フレームワークにより、ノルム正則化ReLUネットワークが1次元データをスプライン補間することを証明でき、2層ネットワークにおける既知の結果を拡張する。
• 数値実験により、重み行列の構造および双対ギャップに関する理論的予測が確認された。