[論文レビュー] S-SGD: Symmetrical Stochastic Gradient Descent with Weight Noise Injection for Reaching Flat Minima

Wonyong Sung, Iksoo Choi+3 more|arXiv (Cornell University)|Sep 5, 2020

Advanced Neural Network Applications参考文献 44被引用数 5

ひとこと要約

本稿では、深層ニューラルネットワークの重みに固定された大きさの対称的ノイズを注入することで、平坦な最小値への収束を促進する正則化手法である対称的確率的勾配降下法（S-SGD）を提案する。2つの摂動を加えた重み点における損失を評価することにより、S-SGDは学習を安定化させ、一般化性能を向上させ、CNN、RNN、音声認識タスクにおいて標準的なSGD、ドロップアウト、ドロップコネクトを上回り、一貫した精度向上を達成する。

ABSTRACT

The stochastic gradient descent (SGD) method is most widely used for deep neural network (DNN) training. However, the method does not always converge to a flat minimum of the loss surface that can demonstrate high generalization capability. Weight noise injection has been extensively studied for finding flat minima using the SGD method. We devise a new weight-noise injection-based SGD method that adds symmetrical noises to the DNN weights. The training with symmetrical noise evaluates the loss surface at two adjacent points, by which convergence to sharp minima can be avoided. Fixed-magnitude symmetric noises are added to minimize training instability. The proposed method is compared with the conventional SGD method and previous weight-noise injection algorithms using convolutional neural networks for image classification. Particularly, performance improvements in large batch training are demonstrated. This method shows superior performance compared with conventional SGD and weight-noise injection methods regardless of the batch-size and learning rate scheduling algorithms.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）学習における過学習と一般化性能の低さという課題に、平坦な最小値への収束を促進することで対処すること。
• 損失関数の平坦さを明示的に測定する新しい正則化技術を通じて、学習の安定性と一般化性能を向上させること。
• 全結合層、畳み込み層、再帰層に適用可能な、シンプルで柔軟かつ効果的な手法を開発すること。
• ヘッセ行列依存の勾配更新を活用することで、重みとデータの摂動に対してより頑健な学習アルゴリズムを提供すること。

提案手法

• S-SGDは、各更新ステップにおいてネットワークの重みに固定された大きさの対称的ノイズを注入し、摂動された重み点と元の重み点の両方で損失を計算する。
• アルゴリズムは、w + ε および w - ε の2つの対称的点での損失を評価し、損失関数の平坦さを推定する。ここでεは固定されたノイズベクトルである。
• 重みの更新は、2つの摂動された点における平均勾配に基づいて計算され、更新ルールにヘッセ行列の情報を効果的に組み込む。
• 高い曲率領域における損失の変動を増加させることで、鋭い最小値をペナルティ化し、平坦な最小値を好むように設計されている。
• 標準的なSGDと互換性があり、アーキテクチャの変更なしに全結合層、畳み込み層、再帰層に適用可能である。
• 対称的摂動を用いた有限差分に類似した近似により、ヘッセ行列の計算コストを回避している。

実験結果

リサーチクエスチョン

• RQ1 対称的重みノイズの注入は、平坦な最小値への収束を促進することで、DNN学習における一般化性能の向上に寄与するか？
• RQ2 S-SGDは、ドロップアウトやドロップコネクトといった従来の正則化手法と比較して、テスト精度と頑健性において優れているか？
• RQ3 固定された大きさの対称的ノイズを用いることで、ランダムなノイズ注入と比較して、学習の安定性と損失関数の平坦さが向上するか？
• RQ4 S-SGDは、CNN、RNN、ゲート付き畳み込みネットワークを含む多様なアーキテクチャにおいて、どの程度性能を向上させるか？
• RQ5 損失関数の可視化とヘッセ固有値解析の結果から、S-SGDは鋭い最小値と過学習を効果的に回避できるか？

主な発見

• CIFAR-10でResNet20を用いた場合、S-SGDは92.62%のテスト精度を達成し、同じ設定でSGD（92.17%）とドロップコネクト（92.18%）を上回った。
• CIFAR-100では、125エポック後にS-SGDが69.63%のテスト精度を達成し、SGD（68.51%）および微調整を施したSGD（68.51%）を上回った。
• 損失関数の可視化から、S-SGDは損失の谷の中心付近に平坦な領域へ収束していることが示され、鋭い最小値に伴う急勾配の壁を避けていた。
• ヘッセ固有値解析により、S-SGDで学習されたモデルは、より低い最大固有値を示しており、平坦な最小値と優れた一般化性能を示していることが確認された。
• ゲート付き畳み込みネットワークを用いたエンドツーエンドの音声認識タスクにおいても、S-SGDはベースラインのSGDおよびノイズ注入手法を上回る一貫した性能向上を示した。
• S-SGDは、学習損失が急勾配の壁からより離れていることから、より優れた安定性と頑健性を示しており、過学習の低減が示唆された。