[論文レビュー] Implicit Regularization in Over-parameterized Neural Networks

Masayoshi Kubo, Ryotaro Banno+2 more|arXiv (Cornell University)|Mar 5, 2019

Stochastic Gradient Optimization Techniques参考文献 5被引用数 8

ひとこと要約

本稿では、過パラメータ化されたReLUニューラルネットワークにおける暗黙的正則化を分析するための統計的指標として、勾配ギャップ分散と勾配歪みを導入する。勾配降下法（SGD）とランダム重み初期化が、ネットワーク勾配が滑らかに変化することを制限することで、入力サンプル間で出力がほぼ線形に補間されることを示している。これにより、明示的な正則化なしに低複雑性と一般化性能を達成している。

ABSTRACT

Over-parameterized neural networks generalize well in practice without any explicit regularization. Although it has not been proven yet, empirical evidence suggests that implicit regularization plays a crucial role in deep learning and prevents the network from overfitting. In this work, we introduce the gradient gap deviation and the gradient deflection as statistical measures corresponding to the network curvature and the Hessian matrix to analyze variations of network derivatives with respect to input parameters, and investigate how implicit regularization works in ReLU neural networks from both theoretical and empirical perspectives. Our result reveals that the network output between each pair of input samples is properly controlled by random initialization and stochastic gradient descent to keep interpolating between samples almost straight, which results in low complexity of over-parameterized neural networks.

研究の動機と目的

• 過パラメータ化されたニューラルネットワークが明示的な正則化なしに良好に一般化する理由を理解すること。
• 勾配降下法（SGD）とランダム重み初期化がネットワークの複雑さをどのように制御するかを調査すること。
• 入力サンプル間のニューラルネットワーク勾配の幾何的挙動を捉える統計的指標を開発すること。
• 入力パスに沿った勾配変動の滑らかさを通じて、過パラメータ化ネットワークにおける低一般化誤差を説明すること。
• 暗黙的正則化がSGDと初期化による勾配フラクチュエーションの制約から生じることを理論的および実験的に証明すること。

提案手法

• 勾配ギャップ分散と勾配歪みを、ヘッセ行列の曲率と線形入力パスに沿ったネットワーク変動の代理として定義する。
• 入力ペア間の線形補間に沿って、ネットワーク出力の勾配をランダムウォークブリッジとしてモデル化する。
• このモデルを用いて、入力データ全体にわたるReLUネットワーク勾配のグローバルな変動を統計的に推定する。
• 標準アーキテクチャ（MLP、VGG、ResNet）とデータセット（MNIST、CIFAR10、CIFAR100）を用いて、実験的妥当性を検証する。
• ランダムウォークブリッジモデルを活用し、SGDと初期化が勾配フラクチュエーションをどのように制限し、線形に近い補間を強制するかを定量化する。
• 勾配の変化が記録される不連続領域（非微分可能領域）に注目することで、非滑らかなReLUネットワークの挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 SGDとランダム初期化は、過パラメータ化されたReLUネットワークをどのように暗黙的に正則化するか？
• RQ2 ネットワーク勾配は入力サンプル間でどの程度滑らかに変化するか。その変動を捉える統計的指標は何か？
• RQ3 過パラメータ化ネットワークの線形補間挙動は、入力パスに沿った勾配ダイナミクスによって説明可能か？
• RQ4 ReLUネットワークにおけるブレークポイント（非微分可能領域）が、グローバルな幾何的複雑性をどのように符号化するか？
• RQ5 勾配ギャップ分散と勾配歪みは、過パラメータ化モデルにおける一般化とどのように関連するか？

主な発見

• 勾配ギャップ分散と勾配歪みは、複数の標準アーキテクチャ（MLP、VGG、ResNet）とデータセット（MNIST、CIFAR10、CIFAR100）で小さく、入力パスに沿った勾配変動が最小であることを示している。
• ReLU活性化による非滑らかさにもかかわらず、SGDと初期化による制御のおかげで、ネットワーク出力は入力サンプル間でほぼ線形に補間されている。
• ネットワーク勾配は線形入力パスに沿ってランダムウォークブリッジのように振る舞い、暗黙的正則化が制限された勾配の確率的移動から生じることを示唆している。
• 結果は最適化の変種に対して頑健であり、バニラSGDおよびモーメンタムSGDの両方で成り立つため、学習プロセスの本質的性質であることが示された。
• 本研究は、過パラメータ化ネットワークにおける暗黙的正則化が、勾配ギャップの大きさと有効ノード数の制限に起因することを明らかにした。これにより、過剰な複雑性が回避されている。
• 本フレームワークは、フィードフォワードマップのみを用いて、さまざまなアーキテクチャに一般化可能な深層ネットワークの幾何的複雑性を評価するための手法を提供している。