[論文レビュー] Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network

Tianyang Hu, Wenjia Wang+2 more|arXiv (Cornell University)|Jul 5, 2020

Stochastic Gradient Optimization Techniques被引用数 9

ひとこと要約

この論文は、l(2)正則化を施した過パラメータ化されたReLUニューラルネットワークに対する非パrametric解析を確立し、正則化勾配降下法が最小最大最適なL²推定誤差を達成し、ニューラル接線カーネルを介してカーネルリッジ回帰に近似することを示している。これにより、ノイズのあるデータにおける一般化性能とロバスト性が向上する。

ABSTRACT

Overparametrized neural networks trained by gradient descent (GD) can provably overfit any training data. However, the generalization guarantee may not hold for noisy data. From a nonparametric perspective, this paper studies how well overparametrized neural networks can recover the true target function in the presence of random noises. We establish a lower bound on the L-2 estimation error with respect to the GD iterations, which is away from zero without a delicate scheme of early stopping. In turn, through a comprehensive analysis of l(2)-regularized GD trajectories, we prove that for overparametrized one-hidden-layer ReLU neural network with the l(2) regularization: (1) the output is close to that of the kernel ridge regression with the corresponding neural tangent kernel; (2) minimax optimal rate of the L-2 estimation error can be achieved. Numerical experiments confirm our theory and further demonstrate that the l(2) regularization approach improves the training robustness and works for a wider range of neural networks.

研究の動機と目的

• ノイズの多いデータにおける過パラメータ化されたニューラルネットワークの一般化挙動を、非パrametric的視点から理解すること。
• 訓練データを過学習するにもかかわらず、標準勾配降下法がノイズのあるデータで一般化に失敗する理由を特定すること。
• 過パラメータ化された設定において、正則化が最適推定を可能にする条件を確立すること。
• ニューラル接線カーネルを介して、正則化勾配降下法の軌道とカーネルリッジ回帰を結びつけること。
• 理論的考察を数値実験により検証し、多様なネットワークアーキテクチャにわたるロバスト性の向上を示すこと。

提案手法

• 標準勾配降下法におけるL²推定誤差の下界を導出し、早期停止なしでは0から離れたままであることを示している。
• 過パラメータ化された1層隠れ層ReLUネットワークにおけるl(2)-正則化勾配降下法の軌道を分析している。
• 正則化勾配降下法の出力が、対応するニューラル接線カーネルを用いたカーネルリッジ回帰の解に収束することを証明している。
• 正則化フレームワーク下でのL²推定誤差の最小最大最適性を確立している。
• ノイズの存在下での推定誤差を特徴付けるために、非パラメトリック解析技術を用いている。
• 統計的学習と最適化の理論的道具を用いて推定誤差を評価し、カーネル法と接続している。

実験結果

リサーチクエスチョン

• RQ1 なぜ、訓練データを過学習するにもかかわらず、標準勾配降下法はノイズのあるデータで一般化に失敗するのか？
• RQ2 l(2)正則化は、ノイズ下での過パラメータ化されたReLUネットワークにおいて最適推定を可能にするか？
• RQ3 過パラメータ化された状態において、l(2)-正則化勾配降下法の軌道はどのようにカーネルリッジ回帰と関連しているか？
• RQ4 l(2)正則化を施した過パラメータ化されたReLUネットワークにおけるL²推定誤差の最小最大最適レートは何か？
• RQ5 l(2)正則化は、さまざまなニューラルネットワークアーキテクチャにおいて学習のロバスト性を向上させるか？

主な発見

• 過パラメータ化されたReLUネットワークにおける標準勾配降下法は、ノイズのあるデータではL²推定誤差を0に達成できず、早期停止なしでは0から離れた下界を有する。
• l(2)-正則化勾配降下法は、過パラメータ化された状態において、L²推定誤差の最小最大最適レートを達成する。
• l(2)-正則化勾配降下法の出力は、ニューラル接線カーネルを用いたカーネルリッジ回帰の解に非常に近い近似値をとる。
• 理論的解析により、正則化がランダムノイズの存在下でも一貫した推定を可能にすることが確認された。
• 数値実験により理論的考察が検証され、さまざまなネットワーク構成においてロバスト性と一般化性能の向上が示された。
• l(2)正則化アプローチは、特定の1層隠れ層の設定にとどまらず、より広範な過パラメータ化されたネットワークのクラスへと一般化可能である。