[論文レビュー] Towards Understanding the Importance of Noise in Training Neural Networks

Mo Zhou, Tianyi Liu+4 more|arXiv (Cornell University)|Sep 7, 2019

Stochastic Gradient Optimization Techniques被引用数 16

ひとこと要約

この論文は、偽の局所最小値を有する2層畳み込みニューラルネットワークの学習において、勾配更新のノイズがグローバル最適解への収束を可能にする仕組みを調査する。摂動付き勾配降下とノイズの冷却を組み合わせることで、任意の初期化のもとでも多項式時間でグローバル最適解への収束を証明し、非凸最適化のランドスケープにおいてノイズが劣悪な局所解からの脱出を助けることを示している。

ABSTRACT

Numerous empirical evidence has corroborated that the noise plays a crucial rule in effective and efficient training of neural networks. The theory behind, however, is still largely unknown. This paper studies this fundamental problem through training a simple two-layer convolutional neural network model. Although training such a network requires solving a nonconvex optimization problem with a spurious local optimum and a global optimum, we prove that perturbed gradient descent and perturbed mini-batch stochastic gradient algorithms in conjunction with noise annealing is guaranteed to converge to a global optimum in polynomial time with arbitrary initialization. This implies that the noise enables the algorithm to efficiently escape from the spurious local optimum. Numerical experiments are provided to support our theory.

研究の動機と目的

• 深層ニューラルネットワークの学習におけるノイズの理論的役割、特に偽の局所最適解からの脱出における役割を理解すること。
• 既知の偽の最小値を有する2層畳み込みニューラルネットワークにおいて、摂動付き勾配降下とノイズの冷却がグローバル最適解への収束を達成できるかどうかを分析すること。
• 非凸性と劣悪な局所最小値が存在する状況下での最適化に対する厳密な収束保証を提供すること。
• 任意の初期化のもとでも、ノイズが劣悪な局所最適解からの効率的脱出を可能にすることを確立すること。

提案手法

• 著者たちは、同定可能性を保証するため、ReLU活性化関数と単位ノルム重み制約を課した2層非オーバーラップ畳み込みニューラルネットワークを検討する。
• 各更新ステップに独立なノイズを注入する摂動付き勾配降下アルゴリズムを分析し、SGDのサンプル依存ノイズとは異なる。
• 収束の安定化を図るため、エポックを経てノイズの大きさを段階的に減少させるノイズの冷却を採用する。
• 理論的分析では、マルティンゲールの集中とアズマの不等式を用いて、期待される更新ダイナミクスからの逸脱を評価する。
• 証明により、アルゴリズムが多項式時間で高確率でグローバル最適解に収束することを示している。
• 分析は出力重みベクトル $a$ に焦点を当て、ノイズが損失ランドスケープを滑らかにし、偽の最小値の影響を排除することを示している。

実験結果

リサーチクエスチョン

• RQ1 既知の偽の局所最小値を有する2層CNNにおいて、勾配更新のノイズがグローバル最適解への収束を可能にするか？
• RQ2 ノイズの冷却は、非凸最適化における摂動付き勾配降下の収束行動にどのように影響するか？
• RQ3 SGDにおけるノイズが鋭い、一般化性能が低い最小値を避ける理論的根拠は何か？
• RQ4 任意の初期化のもとで、摂動付き勾配降下は偽の局所最小値を脱出できるか？

主な発見

• 摂動付き勾配降下とノイズの冷却を用いることで、任意の初期化のもとでも多項式時間でグローバル最適解に収束する。
• アルゴリズムはノイズによる損失ランドスケープの滑らか化のおかげで、偽の局所最小値を脱出する。
• 高確率 $1 - \widetilde{O}(\eta^2\delta)$ で、$\widetilde{O}(\eta^{-2})$ 回の反復後に出力重み $a_t$ が真の $a^*$ から $O(\gamma)$ の範囲内に留まる。
• 収束速度はステップサイズ $\eta$ の逆数の多項式に比例し、ノイズレベルは冷却により慎重に調整されている。
• 数値実験は理論的結果を支持しており、ノイズが最適でない解への収束を防ぐことを示している。
• この結果は、ガウス分布に従う入力と実現可能なティーチャーステューデントネットワークの設定のもとで成り立つ。