[論文レビュー] The Anisotropic Noise in Stochastic Gradient Descent: Its Behavior of Escaping from Sharp Minima and Regularization Effects

Zhanxing Zhu, Jingfeng Wu+3 more|ePrints Soton (University of Southampton)|Mar 1, 2018

Stochastic Gradient Optimization Techniques被引用数 94

ひとこと要約

本論文は、 SGD の異方性ノイズが損失曲率と整列することにより、鋭い極小値からの脱出を促進し、正則化効果をもたらすことを分析し、異方性拡散の類推を上回ることを示している。

ABSTRACT

Understanding the behavior of stochastic gradient descent (SGD) in the context of deep neural networks has raised lots of concerns recently. Along this line, we study a general form of gradient based optimization dynamics with unbiased noise, which unifies SGD and standard Langevin dynamics. Through investigating this general optimization dynamics, we analyze the behavior of SGD on escaping from minima and its regularization effects. A novel indicator is derived to characterize the efficiency of escaping from minima through measuring the alignment of noise covariance and the curvature of loss function. Based on this indicator, two conditions are established to show which type of noise structure is superior to isotropic noise in term of escaping efficiency. We further show that the anisotropic noise in SGD satisfies the two conditions, and thus helps to escape from sharp and poor minima effectively, towards more stable and flat minima that typically generalize well. We systematically design various experiments to verify the benefits of the anisotropic noise, compared with full gradient descent plus isotropic diffusion (i.e. Langevin dynamics).

研究の動機と目的

• 無バイアスなノイズを伴う SGD ダイナミクスの理解と、それが一般化に与える影響を動機づける。
• 一般的な勾配ベースの最適化ダイナミクスを導入し、 SGD と Langevin ダイナミクスを統合する。
• ノイズと曲率の整列による脱出効率を測る新規指標を導出する。
• 異方性ノイズが極小値からの脱出において等方性ノイズより優れる条件を確立する。
• ニューラルネットワークを対象とした複数の実験を通じて異方性ノイズの利点を実証的に検証する。

提案手法

• SGD と Langevin ダイナミクスを統合する無バイアスノイズを伴う一般的な勾配ベースの確率的ダイナミクスを定式化する。
• 脱出効率を測る指標として、Hessian とノイズ共分散の積のトレース Tr(H Sigma) に基づく指標を導出する。
• 局所的には極小値近傍で Ornstein-Uhlenbeck近似を用いて脱出挙動とノイズ構造の関係を分析する。
• 不良条件の Hessian と整列した異方性ノイズが優れた脱出性能につながることを関連づける命題を証明する。
• おもちゃモデルと実データセット上で、さまざまな GLD 変種（等方性ノイズと異方性ノイズ）を用いた SGD を比較する実験を設計・実行する。

実験結果

リサーチクエスチョン

• RQ1 SGD ノイズ共分散 Sigma の構造は、その大きさを超えて、極小値からの脱出にどのような影響を与えるか？
• RQ2 ヘシアンに整列した異方性ノイズが鋭い極小値からの脱出において等方性ノイズを上回る条件は何か？
• RQ3 ニューラルネットワークにおける局所の極小値近傍で、SGD ノイズ共分散は損失の曲率とどのように関連するか？
• RQ4 異方性拡散は、平坦な極小値への収束と一般化の改善といった SGD の後退的効果を説明できるか？

主な発見

• 指標 Tr(H Sigma) は脱出効率を支配し、値が大きいほど局所 minima からの脱出が速くなる。
• ヘシアンに整列した異方性ノイズは、鋭い極小値からの脱出において等方性ノイズより優れており、特に不良条件の Hessian に対して顕著である。
• SGD ノイズ共分散はヘシアン/フィッシャー情報に関連し、極小値近傍で勾配共分散と曲率の整列を示唆する。
• ニューラルネットワークでは、SGD は一般に等方拡散法より平坦な極小値への脱出を速くする条件を満たす。
• おもちゃモデルと実データセット（FashionMNIST、SVHN、CIFAR-10）で、異方性の SGD に似たノイズが平坦な極小値とより良い一般化をもたらすことを示し、等方 GLD 変種と比較して優位である。
• 等方性ノイズは実践における損失景観の異方性のため、鋭い極小値からの脱出を大幅に改善しない。