[論文レビュー] Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods

Taiji Suzuki, Shunta Akiyama|arXiv (Cornell University)|May 3, 2021

Sparse and Compressive Sensing Techniques参考文献 58被引用数 4

ひとこと要約

この論文は、過パラメータ化されたニューラルネットワークの非凸幾何構造を活用することで、非凸的でノイズのある勾配降下法を用いたディープラーニングが、線形推定器（カーネル法、ランダム特徴量、k-NNを含む）よりも速い超過リスクレートを達成することを確立している。理論的分析により、高次元において最小最大最適収束レートを証明し、明示的なスパarsity正則化がなくても、優れた一般化性能を示す可能性を示している。

ABSTRACT

Establishing a theoretical analysis that explains why deep learning can outperform shallow learning such as kernel methods is one of the biggest issues in the deep learning literature. Towards answering this question, we evaluate excess risk of a deep learning estimator trained by a noisy gradient descent with ridge regularization on a mildly overparameterized neural network, and discuss its superiority to a class of linear estimators that includes neural tangent kernel approach, random feature model, other kernel methods, k-NN estimator and so on. We consider a teacher-student regression model, and eventually show that {\it any} linear estimator can be outperformed by deep learning in a sense of the minimax optimal rate especially for a high dimension setting. The obtained excess bounds are so-called fast learning rate which is faster than O(1/n) that is obtained by usual Rademacher complexity analysis. This discrepancy is induced by the non-convex geometry of the model and the noisy gradient descent used for neural network training provably reaches a near global optimal solution even though the loss landscape is highly non-convex. Although the noisy gradient descent does not employ any explicit or implicit sparsity inducing regularization, it shows a preferable generalization performance that dominates linear estimators.

研究の動機と目的

• ディープラーニングがカーネルモデルのような浅い手法よりも一般化性能が優れている理由という未解決の問いを解消すること。
• 教師-生徒回帰フレームワーク下で、リッジ正則化付きのノイズ付き勾配降下法で学習されたディープラーニングの超過リスクを分析すること。
• ディープラーニングが、ニューラルトランスファーディングカーネルやk-NNを含むすべての線形推定器よりも速い収束レートを達成できることを確立すること。
• ノイズを伴う非凸最適化が、近似的なグローバル最適解への収束を可能にし、優れた一般化性能を実現することを示すこと。

提案手法

• リッジ正則化付きのやや過パラメータ化された2層ReLUニューラルネットワークを分析する。
• 確率的性質を活かして局所的最小値から脱出できるように、ノイズ付き勾配降下法を用いてディープモデルを学習する。
• 真の潜在関数と一般化誤差を定義するために、教師-生徒回帰モデルを用いる。
• 非凸最適化理論と高次元統計的分析を用いて、超過リスクの境界を導出する。
• ディープラーニング推定器のリスクを、カーネル法やk-NNを含む広範な線形推定器クラスと比較する。
• 非凸幾何構造とノイズ誘導収束のおかげで、O(1/n)より速い学習レートが達成されることを確立する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ付き勾配降下法を用いたディープラーニングは、高次元設定において線形推定器よりも優れた一般化性能を示せるか？
• RQ2 ディープネットワークの非凸幾何構造は、カーネル法が達成可能なものよりも速い収束レートを実現できるか？
• RQ3 ノイズ付き勾配降下法は、明示的なスパarsity正則化がなくても、過パラメータ化されたディープモデルにおける一般化に寄与するか？
• RQ4 最小最大の意味で、ディープラーニングの超過リスクは、カーネル法や関連する線形推定器よりも明示的に小さいか？
• RQ5 過パラメータ化とノイズの相乗作用が、近似的なグローバル最適解への収束と速い学習レートの達成に果たす役割は何か？

主な発見

• ノイズ付き勾配降下法で学習されたディープラーニング推定器は、カーネル法やk-NNを含むあらゆる線形推定器よりも速い超過リスクレートを達成する。
• 超過リスク境界はO(1/n)より速く、モデルの非凸幾何構造に起因する速い学習レートを示している。
• 明示的なスパarsity正則化は不要である。勾配降下法におけるノイズそのものが、優れた一般化性能を実現する。
• 極めて非凸的な損失関数の上でも、ノイズ付き最適化により近似的なグローバル最適解への収束が理論的に保証される。
• 特に高次元設定において、最小最大最適の意味で優位性が保証される。
• 理論的分析により、ディープラーニングが一般化誤差の観点でニューラルトランスファーディングカーネルや関連する線形近似を上回ることを確認した。