[論文レビュー] Implicit Gradient Regularization

David G. T. Barrett, Benoît Dherin|arXiv (Cornell University)|Sep 23, 2020

Stochastic Gradient Optimization Techniques参考文献 63被引用数 5

ひとこと要約

本稿では、離散的更新ステップに起因する勾配降下法における暗黙的正則化の一種として、勾配のノルムの二乗に比例する正則化項である暗黙的勾配正則化（IGR）を導入する。この正則化は、損失関数の急峻な最小値を罰する代わりに、より平坦な領域を好む。後退誤差解析を用いて、IGRが損失関数の二階補正項として得られ、その正則化項は勾配のノルムの二乗に比例することが示され、実験的にIGRが低いテスト誤差および高い耐性と相関していることが確認された。特に大きな学習率の場合に顕著である。

ABSTRACT

Gradient descent can be surprisingly good at optimizing deep neural networks without overfitting and without explicit regularization. We find that the discrete steps of gradient descent implicitly regularize models by penalizing gradient descent trajectories that have large loss gradients. We call this Implicit Gradient Regularization (IGR) and we use backward error analysis to calculate the size of this regularization. We confirm empirically that implicit gradient regularization biases gradient descent toward flat minima, where test errors are small and solutions are robust to noisy parameter perturbations. Furthermore, we demonstrate that the implicit gradient regularization term can be used as an explicit regularizer, allowing us to control this gradient regularization directly. More broadly, our work indicates that backward error analysis is a useful theoretical approach to the perennial question of how learning rate, model size, and parameter regularization interact to determine the properties of overparameterized models optimized with gradient descent.

研究の動機と目的

• 勾配降下法における離散的数値積分に起因する、これまで認識されていなかった形式の暗黙的正則化を特定し、形式化すること。
• 深層ネットワークにおける大きな学習率が、発散のリスクがあるにもかかわらず、一般化性能と耐性を向上させる理由を説明すること。
• 導出された正則化項を用いて、暗黙的正則化効果を明示的に制御および測定できることを示すこと。
• 数値積分理論における後退誤差解析を、深層学習モデルの一般化特性との間に接続すること。
• IGRが平坦な最小値、低いテスト誤差、および向上した耐性と相関していることを検証すること。

提案手法

• 離散的勾配降下法の更新則に後退誤差解析を適用し、離散的軌道が近似する修正された損失関数を導出する。
• IGR（暗黙的勾配正則化）を、修正された損失関数における二階補正項として導出し、損失勾配のノルムの二乗に比例する：$ R_{IG}( heta) = \frac{1}{m}\sum_{i=1}^{m}(\nabla_{\theta_i}E(\theta))^2 $。
• 微分幾何学を用いて、IGRが損失関数の曲率が大きい領域を罰し、平坦な最小値を好むことを示す。
• MLP（MNIST）およびResNets（CIFAR-10）を用いて、異なる学習率、ネットワークサイズ、バッチサイズの下でIGRを実験的に評価する。
• 任意の停止時刻によるバイアスを避けるために、テスト精度が最大に達した時点でのモデルを比較し、$ R_{IG} $、$ E(\theta) $、およびテスト誤差を測定する。
• IGRを損失関数に追加することで、IGRを明示的な正則化項として用いることができ、正則化強度を直接制御できることを示す。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおける勾配降下法の離散的ステップによって誘発される暗黙的正則化の形式は何か？
• RQ2 この暗黙的正則化の大きさは、学習率およびモデルの一般化性能とどのように関係しているか？
• RQ3 導出された正則化項を用いて、暗黙的正則化効果を明示的に測定および制御できるか？
• RQ4 暗黙的勾配正則化は、平坦な最小値、低いテスト誤差、および向上した耐性と相関しているか？
• RQ5 後退誤差解析は、学習率、モデルサイズ、および一般化の間の相互作用を理解する理論的枠組みをどの程度提供するか？

主な発見

• IGRは、後退誤差解析を用いて損失関数の二階補正項として導出され、正則化強度は$ \lambda = \frac{hm}{4} $である。ここで$ h $は学習率、$ m $はパラメータ数である。
• 大きな学習率で訓練されたモデルは、$ R_{IG}(\theta)/E(\theta) $ の値が顕著に小さく、IGRが平坦な最小値を好むことと整合的である。
• テスト精度はIGRの大きさと強く相関しており、MNISTおよびCIFAR-10の両データセットで、$ R_{IG} $ の値が小さいほど一般化性能が向上している。
• バッチサイズの違い、すなわちフルバッチおよび確率的勾配降下法を含む、さまざまな設定においても暗黙的正則化効果は安定している。
• CIFAR-10で訓練されたResNet-18の実験から、学習率を増加させることで$ R_{IG} $ が減少し、テスト精度が向上することが確認され、より大きなモデルでも同様の傾向が成立している。
• IGRを損失関数に明示的に追加することで、正則化強度を直接制御でき、標準的な訓練方法で達成可能な最大の正則化強度を上回ることも可能である。