[論文レビュー] On the Noisy Gradient Descent that Generalizes as SGD

Jingfeng Wu, Wenqing Hu+4 more|arXiv (Cornell University)|Jun 18, 2019

Sparse and Compressive Sensing Techniques参考文献 52被引用数 19

ひとこと要約

本稿では、勾配行列とサンプリングノイズの積として勾配ノイズをモデル化することにより、ノイズの分布クラスが一般化性能に与える影響が限定的であることを示した。ノイズの大きさと共分散構造が適切に設定されていれば、一般化性能に影響を与えない。主な貢献は、[MSGD-Fisher]-Bと呼ばれる計算効率の高いアルゴリズムであり、スパースなガウスノイズを注入することで、大バッチ学習における一般化ギャップを解消し、標準的大バッチSGDを上回り、小バッチSGDと同等の性能を達成した。

ABSTRACT

The gradient noise of SGD is considered to play a central role in the observed strong generalization abilities of deep learning. While past studies confirm that the magnitude and the covariance structure of gradient noise are critical for regularization, it remains unclear whether or not the class of noise distributions is important. In this work we provide negative results by showing that noises in classes different from the SGD noise can also effectively regularize gradient descent. Our finding is based on a novel observation on the structure of the SGD noise: it is the multiplication of the gradient matrix and a sampling noise that arises from the mini-batch sampling procedure. Moreover, the sampling noises unify two kinds of gradient regularizing noises that belong to the Gaussian class: the one using (scaled) Fisher as covariance and the one using the gradient covariance of SGD as covariance. Finally, thanks to the flexibility of choosing noise class, an algorithm is proposed to perform noisy gradient descent that generalizes well, the variant of which even benefits large batch SGD training without hurting generalization.

研究の動機と目的

• 確率的勾配降下法（SGD）の一般化性能に、ノイズ分布のクラスが本質的かどうかを調査すること。
• ミニバッチ選択に起因するサンプリングノイズ成分に分解することで、SGDにおける勾配ノイズの起源を解明すること。
• 大バッチSGDが小バッチSGDと同等に一般化できるようにする、実用的で効率的な構造的ノイズ注入アルゴリズムを開発すること。
• スケーリングされたフィッシャー情報量や勾配共分散を用いた既存のガウスノイズベースの正則化手法を、共通のサンプリングノイズフレームワークで統一すること。

提案手法

• 本稿では、ミニバッチ選択に起因するサンプリングノイズを含む勾配ノイズの分解を導入し、勾配行列とサンプリングノイズの積として表現する。
• サンプリングノイズが、勾配行列単体よりも、SGDにおける有効なノイズ分布を決定づけることが同定された。
• 大バッチ学習におけるノイズ不足を補うために、スパースなガウスノイズを注入する、ミニバッチMSGDの変種である[MSGD-Fisher]-Bを提案する。
• SVDに基づくノイズ注入を避けるために、勾配行列の共分散構造を保持する構造的サンプリングノイズを用いる。
• 理論的分析により、ガウスノイズを用いたMSGDでは、離散的反復と連続的SDEとの間で強い収束が達成可能であり、収束速度が向上することが示された。
• ToyデータセットおよびCIFAR-10におけるResNet-18といった実世界のモデルを用いた実験により、一般化性能と収束速度の比較が行われた。

実験結果

リサーチクエスチョン

• RQ1 ノイズ分布のクラスは、確率的最適化手法の一般化性能に決定的要因となるか？
• RQ2 ミニバッチSGDにおけるサンプリング手順は、観察された勾配ノイズ構造をどのように生じさせるか？
• RQ3 ガウス分布を超える代替のノイズクラスが、ノイズの大きさと共分散構造を適切に制御すれば、勾配降下法の正則化に有効に機能するか？
• RQ4 大バッチSGDにおける一般化性能の回復を図るための、計算的に効率の良いノイズ注入アルゴリズムを設計可能か？
• RQ5 収束速度および最終的な一般化性能の観点から、異なるノイズ分布はどのように比較されるか？

主な発見

• ノイズの分布クラスは正則化に決定的要因ではなく、ノイズの大きさと共分散構造が一般化性能により重要である。
• SGDにおける勾配ノイズは、勾配行列とサンプリングノイズの積として生じる。これにより、スケーリングされたフィッシャー情報量を用いる手法と、勾配共分散を共分散に用いる手法の2つが統一された。
• 提案された[MSGD-Fisher]-Bアルゴリズムは、CIFAR-10におけるResNet-18を用いた大バッチ学習において、一般化ギャップを効果的に解消し、小バッチSGDと同等の性能を達成した。
• ガウスノイズMSGDは、離散的反復と連続的SDEとの強い収束性のおかげで、他のノイズタイプよりも収束が速いと推定される。
• 勾配行列は、正則化に必要な構造的情報を保持しており、これはMSGD-Bernoulli/FisherがGLD-diagよりも優れた性能を示すことで裏付けられた。
• 実験では、ノイズの大きさを最適化しても、補正なしの大バッチSGDは一般化性能が著しく低く、一方[MSGD-Fisher]-Bは一般化性能を回復させつつ、学習速度を損なわずに実現した。