[論文レビュー] Interplay Between Optimization and Generalization of Stochastic Gradient Descent with Covariance Noise.

Yeming Wen, Kevin Luk+4 more|arXiv (Cornell University)|Feb 21, 2019

Stochastic Gradient Optimization Techniques参考文献 32被引用数 19

ひとこと要約

この論文は、最適化速度を損なわずに大バッチ学習における一般化性能を向上させるために、確率的勾配降下法（SGD）の勾配に共分散ノイズを追加することを提案する。ノイズの構造、特にそのフロベニウスノルムが勾配の分散よりも性能をよりよく捉えていることが示され、実験的にこの手法が一般化性能を向上させつつも高速な収束を維持することを裏付けた。

ABSTRACT

The choice of batch-size in a stochastic optimization algorithm plays a substantial role for both optimization and generalization. Increasing the batch-size used typically improves optimization but degrades generalization. To address the problem of improving generalization while maintaining optimal convergence in large-batch training, we propose to add covariance noise to the gradients. We demonstrate that the learning performance of our method is more accurately captured by the structure of the covariance matrix of the noise rather than by the variance of gradients. Moreover, over the convex-quadratic, we prove in theory that it can be characterized by the Frobenius norm of the noise matrix. Our empirical studies with standard deep learning model-architectures and datasets shows that our method not only improves generalization performance in large-batch training, but furthermore, does so in a way where the optimization performance remains desirable and the training duration is not elongated.

研究の動機と目的

• 大バッチ確率的勾配降下法（SGD）における最適化効率と一般化性能のトレードオフを解消すること。
• 構造的ノイズ、特に共分散ノイズが最適化速度を低下させることなく一般化性能を向上させられるかを調査すること。
• ノイズの共分散構造が勾配の分散よりも、ノイズ付きSGDの性能をよりよく特徴づけるかを特定すること。
• 凸2次関数設定において、ノイズ行列のフロベニウスノルムが学習性能を捉えることを理論的・実験的に検証すること。
• 提案手法が、標準的なディープラーニングモデルにおいて高速な収束を維持しながらテスト精度を向上させることを示すこと。

提案手法

• SGDの勾配更新に共分散構造を持つ分布から抽出されたノイズ行列を追加することで共分散ノイズを導入する。
• ノイズ行列は、その共分散構造がパラメータ空間における更新方向と分散に直接影響を与えるように設計されている。
• 理論的分析は凸2次関数問題に焦点を当て、一般化性能がノイズ行列のフロベニウスノルムによって特徴づけられることを証明している。
• 実験的評価では、ベンチマークデータセット（例：CIFAR-10、ImageNet）と標準的なディープラーニングアーキテクチャ（例：ResNet、VGG）を用い、さまざまなバッチサイズで評価を行った。
• トレーニング中に制御された共分散を持つノイズを追加し、テスト精度と収束速度の観点から性能を測定した。
• 標準的なSGDおよび他のノイズ注入手法と比較し、ノイズの分散と構造に関するアブレーションスタディも実施した。

実験結果

リサーチクエスチョン

• RQ1 大バッチSGDの勾配に共分散ノイズを追加することで、収束速度を落とさずに一般化性能を向上させられるか？
• RQ2 ノイズ付きSGDの性能は、ノイズの共分散構造か、勾配の分散のどちらによってよりよく予測できるか？
• RQ3 凸2次関数問題において、ノイズ行列のフロベニウスノルムが学習性能を特徴づけるか？
• RQ4 提案手法は、標準的なディープラーニング環境において、高速な最適化ダイナミクスを維持しながらテスト精度を向上させられるか？
• RQ5 一般化性能の向上という観点から、ノイズ行列の構造は等方的ノイズと比べてどれほど優れているか？

主な発見

• 共分散ノイズの追加により、大バッチSGDにおける一般化性能が顕著に向上し、小バッチ学習と同等の性能が達成された。
• 凸2次関数問題において、勾配の分散よりもノイズ行列のフロベニウスノルムが一般化性能をよりよく捉えている。
• 理論的分析により、凸2次関数設定においてノイズ行列のフロベニウスノルムが学習性能を特徴づけることが確認された。
• 実験結果から、この手法は高速な収束を維持しており、大バッチサイズであってもトレーニング時間の増加は見られなかった。
• 複数のアーキテクチャとデータセットにおいて、標準的なSGDおよび他のノイズ注入ベースラインを上回る高いテスト精度が達成された。
• ノイズ行列の構造、特にその共分散が、一般化性能の向上において等方的ノイズよりも優れていることが実証された。