[論文レビュー] Adding Gradient Noise Improves Learning for Very Deep Networks

Arvind Neelakantan, Luke Vilnis+5 more|arXiv (Cornell University)|Nov 21, 2015

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 265

ひとこと要約

この論文では、非常に深いニューラルネットワークの学習を改善するために、確率的勾配降下法の過程で徐々に小さくなるガウスノイズを勾配に追加する手法を提案する。この手法は、パラメータ空間の探索を促進することで最適化を向上させ、初期化が悪くても20層の全結合ネットワークを正常に学習可能にし、質問応答タスクで相対誤差を72%削減し、7,000回のランダムリスタートにおいて正確なバイナリ乗算モデルの数を2倍にした。

ABSTRACT

Deep feedforward and recurrent networks have achieved impressive results in many perception and language processing applications. This success is partially attributed to architectural innovations such as convolutional and long short-term memory networks. The main motivation for these architectural innovations is that they capture better domain knowledge, and importantly are easier to optimize than more basic architectures. Recently, more complex architectures such as Neural Turing Machines and Memory Networks have been proposed for tasks including question answering and general computation, creating a new set of optimization challenges. In this paper, we discuss a low-overhead and easy-to-implement technique of adding gradient noise which we find to be surprisingly effective when training these very deep architectures. The technique not only helps to avoid overfitting, but also can result in lower training loss. This method alone allows a fully-connected 20-layer deep network to be trained with standard gradient descent, even starting from a poor initialization. We see consistent improvements for many complex models, including a 72% relative reduction in error rate over a carefully-tuned baseline on a challenging question-answering task, and a doubling of the number of accurate binary multiplication models learned across 7,000 random restarts. We encourage further application of this technique to additional complex modern architectures.

研究の動機と目的

• ニューラルチューリングマシンやメモリネットワークのような非常に深く複雑なニューラルアーキテクチャにおける最適化の課題に対処すること。
• 初期化が悪くても、深層順方向および再帰的ネットワークの学習を困難にする要因を克服すること。
• ランダムな初期化やハイパーパramータ設定に対して、一般化性能とロバストネスを向上させること。
• アーキテクチャの変更なしに、低コストで容易に実装可能な手法を検討すること。
• アルゴリズム学習や質問応答のための多様な複雑なモデルにおいて、一貫した性能向上を示すこと。

提案手法

• バックプロパゲーションの過程で勾配クリッピング後に、ゼロ平均のガウスノイズを勾配に追加する。
• ノイズ分散に対して、事前に定義された減衰関数に従って時間とともに減少するように、スケジューリングを適用する。
• 標準的な確率的勾配降下法の更新ステップで、ノイズを勾配に適用する。
• ベースラインモデルと同一の最適化ハイパーパramータ（例：学習率、バッチサイズ）を維持する。
• 1行のコードでノイズ注入を実装可能であり、実用的かつ容易に導入可能である。
• 実験ではAdam最適化手法を用い、勾配クリッピング後にノイズを適用することで更新を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 勾配ノイズの追加により、非常に深い順方向および再帰的ネットワークにおける学習の安定性と収束性が向上するか？
• RQ2 勾配ノイズは、複数回のランダム初期化において一般化性能とロバストネスを向上させるか？
• RQ3 勾配ノイズにより、標準的なSGDが失敗するような悪い初期化からでも深層ネットワークの学習が可能になるか？
• RQ4 勾配ノイズは、質問応答やアルゴリズム学習のような複雑なタスクにおける性能にどのように影響を与えるか？
• RQ5 勾配ノイズの段階的スケジューリングは、定常または非段階的ノイズよりも測定可能な改善をもたらすか？

主な発見

• 段階的勾配ノイズの追加により、標準的な確率的勾配降下法を用いても、初期化が悪くても20層のリラクセッド全結合ネットワークがMNISTで正常に学習可能となった。
• 挑戦的な質問応答タスクでは、慎重にチューニングされたベースラインと比較して、誤差率が相対的に72%削減された。
• バイナリ乗算の7,290回のランダムリスタートを含む大規模な実験では、勾配ノイズを用いて学習したモデルが、ノイズなしのベースラインと比較して、誤差 < 1% の正確な結果を2倍以上達成した。
• ハイパーパramータ設定や初期化の変化に対しても、ノイズを用いた手法はロバストネスを向上させ、k番目の要素タスクではノイズありで11.3%の実行が成功した一方、ノイズなしでは1.3%にとどまった。
• 勾配ノイズは学習損失を低下させ、一般化性能を向上させたことから、複雑な損失関数の局所的最小値からの脱出を支援していると考えられる。
• この手法は、全結合ネットワーク、Neural GPU、質問応答モデルを含む多様なアーキテクチャにおいて一貫して性能向上を示した。