[論文レビュー] Minnorm training: an algorithm for training overcomplete deep neural networks

Yamini Bansal, Madhu Advani+2 more|arXiv (Cornell University)|Jun 3, 2018

Machine Learning and ELM参考文献 21被引用数 5

ひとこと要約

この論文では、過パラメータ化された深層ニューラルネットワークにおける重みノルムを最小化するための新しいアルゴリズム、Minnormトレーニングを紹介する。トレーニングを制約付き最適化問題として定式化することで、ラグランジュ乗数を用いて臨界な例を特定し、標準的なバックプロパゲーションと統合することで、最小ノルム解への収束が速くなり、一般化性能が向上する。MNISTにおける理論的・実験的評価では、早期停止法やL2正則化法を上回る性能を示した。

ABSTRACT

In this work, we propose a new training method for finding minimum weight norm solutions in over-parameterized neural networks (NNs). This method seeks to improve training speed and generalization performance by framing NN training as a constrained optimization problem wherein the sum of the norm of the weights in each layer of the network is minimized, under the constraint of exactly fitting training data. It draws inspiration from support vector machines (SVMs), which are able to generalize well, despite often having an infinite number of free parameters in their primal form, and from recent theoretical generalization bounds on NNs which suggest that lower norm solutions generalize better. To solve this constrained optimization problem, our method employs Lagrange multipliers that act as integrators of error over training and identify `support vector'-like examples. The method can be implemented as a wrapper around gradient based methods and uses standard back-propagation of gradients from the NN for both regression and classification versions of the algorithm. We provide theoretical justifications for the effectiveness of this algorithm in comparison to early stopping and $L_2$-regularization using simple, analytically tractable settings. In particular, we show faster convergence to the max-margin hyperplane in a shallow network (compared to vanilla gradient descent); faster convergence to the minimum-norm solution in a linear chain (compared to $L_2$-regularization); and initialization-independent generalization performance in a deep linear network. Finally, using the MNIST dataset, we demonstrate that this algorithm can boost test accuracy and identify difficult examples in real-world datasets.

研究の動機と目的

• 大きなモデル容量にもかかわらず一般化性能が低いという過パラメータ化された深層ニューラルネットワークの課題に対処する。
• 正確なデータ適合制約の下で層の重みノルムの和を最小化することで、トレーニング速度と一般化性能を向上させる。
• 最小ノルム解を求めるための、早期停止法やL2正則化法の理論的裏付けのある代替手法を提供する。
• ノルム最小化を通じて、初期化に依存しない一般化性能を深層線形ネットワークで実現する。
• MNISTのような実世界のデータセットにおいて実用的効果を示し、困難な例を特定し、テスト精度を向上させる。

提案手法

• 訓練問題を、すべての層の重みのL2ノルムの和を最小化すること、かつ訓練データを正確に適合させる制約付きで定式化する。
• データ適合制約を強制するためにラグランジュ乗数を用い、訓練誤差の統合者として機能し、サポートベクタのような例を特定する。
• 標準的な勾配ベース最適化のラッパーとして統合し、回帰および分類の両方で標準的なバックプロパゲーションを用いる。
• 収束性および一般化特性を分析するため、浅いネットワーク、線形チェーンネットワーク、深層線形ネットワークにこの手法を適用する。
• 単純な設定における理論的分析を活用し、Minnormトレーニングと早期停止法・L2正則化法を比較する。
• MNISTを用いて実世界の深層ネットワークへの応用を拡張し、性能向上と例の難易度検出の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたネットワークにおける重みノルムの最小化は、vanilla勾配降下法と比較して、浅いネットワークで最大マージン解への収束を速くすることができるか？
• RQ2 線形チェーンネットワークにおいて、MinnormトレーニングはL2正則化法よりも最小ノルム解への収束が速いか？
• RQ3 深層線形ネットワークにおいて、Minnormトレーニングは初期化に依存しない一般化性能を達成できるか？
• RQ4 実世界のデータにおいて、Minnormトレーニングは早期停止法やL2正則化法と比較して、テスト精度と頑健性の点で優れているか？
• RQ5 Minnormトレーニングは、MNISTのような実世界のデータセットにおける困難な例を特定できるか？

主な発見

• 浅いネットワークでは、ノルム最小化制約のおかげで、Minnormトレーニングはvanilla勾配降下法よりも最大マージン超平面への収束が速い。
• 線形チェーンネットワークでは、MinnormトレーニングはL2正則化法よりも最小ノルム解への収束が速い。
• 深層線形ネットワークでは、Minnormトレーニングは初期化に依存しない一般化性能を達成するが、標準的なトレーニング手法とは異なりそうである。
• MNISTデータセットでは、Minnormトレーニングがテスト精度を向上させ、実世界の環境における一般化性能の向上を示した。
• アルゴリズムはMNISTデータセットにおける困難な例を効果的に特定でき、モデルの解釈性と頑健性の向上を示唆している。
• 理論的分析により、Minnormトレーニングが収束速度および解のノルム最小化の点で、早期停止法やL2正則化法を上回ることが確認された。