[論文レビュー] SmoothOut: Smoothing Out Sharp Minima for Generalization in Large-Batch Deep Learning

Wei Wen, Yandan Wang+4 more|arXiv (Cornell University)|May 21, 2018

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

SmoothOutは、パラメータ空間における複数のDNNの摂動とその平均化により、鋭い極小値を排除することで、大バッチ学習における一般化ギャップを解消する。最小限のオーバーヘッドで実装される確率的バージョンを導入し、不偏近似であることを証明し、追加のエポックなしに、最先端の一般化性能を達成する。

ABSTRACT

In distributed deep learning, a large batch size in Stochastic Gradient Descent is required to fully exploit the computing power in distributed systems. However, generalization gap (accuracy loss) was observed because large-batch training converges to sharp minima which have bad generalization [1][2]. This contradiction hinders the scalability of distributed deep learning. We propose SmoothOut to smooth out sharp minima in Deep Neural Networks (DNNs) and thereby close generalization gap. SmoothOut perturbs multiple copies of the DNN in the parameter space and averages these copies. We prove that SmoothOut can eliminate sharp minima. Perturbing and training multiple DNN copies is inefficient, we propose a stochastic version of SmoothOut which only introduces overhead of noise injection and denoising per iteration. We prove that the Stochastic SmoothOut is an unbiased approximation of the original SmoothOut. In experiments on a variety of DNNs and datasets, SmoothOut consistently closes generalization gap in large-batch training within the same epochs. Moreover, SmoothOut can guide small-batch training to flatter minima and improve generalization. Our source code is in this https URL

研究の動機と目的

• 大バッチ確率的勾配降下法において、一般化性能が低い鋭い極小値に収束するという一般化ギャップを是正すること。
• 平滑化のための複数DNNの学習の非効率性を克服し、計算コストを抑えた確率的バージョンを提案すること。
• 鋭い極小値を排除しつつ、学習効率を維持する理論的裏付けのある手法を提供すること。
• 大バッチおよび小バッチ学習の両方において、より平坦な極小値に収束させ、一般化性能を向上させること。

提案手法

• SmoothOutは、損失関数の形状を探索するために、ランダムノイズを用いてDNNの複数コピーをパラメータ空間で摂動する。
• これらの摂動されたDNNの出力を平均化することで、鋭い極小値を抑制する平滑化された損失関数の表面を構築する。
• SmoothOutの確率的バージョンは、各学習イテレーションでノイズを注入し、ノイズ除去処理を実行することで、計算コストを低減する。
• この手法は、元のSmoothOutに対する不偏近似であることが証明され、理論的保証を保持する。
• モデルパラメータに直接作用するため、標準的なディープラーニングフレームワークと互換性がある。
• ノイズの注入は順伝搬時に実行され、複数の摂動済みモデルの順伝搬結果の平均化が行われる。

実験結果

リサーチクエスチョン

• RQ1 パラメータ空間における摂動と平均化は、ディープニューラルネットワークにおける鋭い極小値を効果的に排除できるか？
• RQ2 SmoothOutの確率的バージョンは、元の手法の理論的性質を維持しながら計算コストを低減できるか？
• RQ3 SmoothOutは、学習時間を増加させずに大バッチ学習における一般化ギャップを埋めることができるか？
• RQ4 SmoothOutは、最適化をより平坦な極小値に誘導することで、小バッチ学習の一般化性能を向上させることができるか？
• RQ5 テスト精度と収束安定性の観点から、既存の大バッチ学習手法と比較して、SmoothOutはどのように差をつけるか？

主な発見

• SmoothOutは、複数のDNNアーキテクチャおよびデータセットにおいて、大バッチ学習における一般化ギャップを一貫して是正する。
• 確率的バージョンのSmoothOutは、大幅に低い計算コストで、元のバージョンと同等の性能を達成する。
• SmoothOutにより、同じエポック数内で大バッチ学習が小バッチ学習の一般化性能に達するか、それを上回るようになる。
• 最適化をより平坦な極小値に誘導することで、SmoothOutは小バッチ学習の一般化性能を向上させる。
• SmoothOutは、元の手法に対する不偏近似であることが証明され、理論的整合性が保証される。
• 本手法は、さまざまなデータセットおよびDNNモデルで有効であることが示され、広範な適用可能性を示している。