[論文レビュー] Asymmetric Valleys: Beyond Sharp and Flat Local Minima

Haowei He, Gao Huang+1 more|arXiv (Cornell University)|Feb 2, 2019

Stochastic Gradient Optimization Techniques参考文献 43被引用数 35

ひとこと要約

本論文は損失ランドスケープに非対称的な谷を提案し、偏った SGD 解が平坦な側へ向くと一般化性能が良くなることを証明し、 SGD の平均化（例：SWA）が自然にそのような偏った解を生み出すことを示し、BN ユニットが非対称性に寄与する。

ABSTRACT

Despite the non-convex nature of their loss functions, deep neural networks are known to generalize well when optimized with stochastic gradient descent (SGD). Recent work conjectures that SGD with proper configuration is able to find wide and flat local minima, which have been proposed to be associated with good generalization performance. In this paper, we observe that local minima of modern deep networks are more than being flat or sharp. Specifically, at a local minimum there exist many asymmetric directions such that the loss increases abruptly along one side, and slowly along the opposite side--we formally define such minima as asymmetric valleys. Under mild assumptions, we prove that for asymmetric valleys, a solution biased towards the flat side generalizes better than the exact minimizer. Further, we show that simply averaging the weights along the SGD trajectory gives rise to such biased solutions implicitly. This provides a theoretical explanation for the intriguing phenomenon observed by Izmailov et al. (2018). In addition, we empirically find that batch normalization (BN) appears to be a major cause for asymmetric valleys.

研究の動機と目的

• 深層ネットワークにおける平坦/鋭い極小値を越えた非対称的な損失谷の存在を動機づける。
• 非対称な方向と谷を形式的に定義し、それらが現代のアーキテクチャに普遍的に見られることを示す。
• 経験的損失と母集団損失の緩やかなずれの下で、平坦側へ biased な解がより良い一般化をもたらすことを理論的に示す。
• SWA を含む SGD の反復の平均化が平坦側への望ましいバイアスを誘導することを示す。
• 非対称的な谷の形成におけるバッチ正規化の役割と BN 対象の平均化の有効性を調べる。

提案手法

• 非対称な方向と非対称的な谷を正確な定義で形式化する（Definition 1 および Definition 2）。
• 母集団損失と経験的損失を関連づける (δ, R) 移動ギャップを導入する（Definition 3）と、2つの仮定（Random shift, Locally asymmetric）を述べる。
• これらの仮定の下で、平坦側へ bias された解が経験的最小化解よりも一般化するとする偏り/一般化の定理を証明する（Theorem 1）。
• CIFAR データセット上の ResNet/DenseNet における移動ギャップと非対称性を経験的に検証する（Figures 3, 4）。
• SGD の反復を平均化することで平坦側へ bias された解が得られることを示す（理論的根拠 Theorem 2 と実証的検証 Figures 5–9）。
• SWA と大規模バッチ/小規模バッチの影響を分析し、改善は幅だけによるものではなく非対称谷における bias に起因することを明らかにする（Figures 8–11）。
• Batch Normalization が非対称な方向を作り出す役割を検討し、BN 対象の平均化の利点を示す（Section 7）。

実験結果

リサーチクエスチョン

• RQ1 現代の深層ネットワークは損失ランドスケープに非対称な谷を持つのか？
• RQ2 非対称な谷の平坦側へ bias された解は、厳密な経験的最小化解よりもよく一般化するのか？
• RQ3 SAGD の平均化（例：SWA）はこのような bias のある解を暗黙のうちに見つけられるのか？
• RQ4 非対称性の形成と平均化の有効性における Batch Normalization の役割は何か？
• RQ5 小さなバッチサイズや SWA から得られる改善は、純粋な平坦さ/幅ではなく平坦方向への bias によるものか？

主な発見

• 非対称的な谷は、ResNet や DenseNet のような現代的なネットワークの損失ランドスケープに普遍的に見られる。
• 非対称な谷の平坦側へ bias された解は、母集団損失と経験的損失の穏やかなずれの下で、経験的最小化解よりも一般化性能が高い（定理1）。
• 単純な SGD 軌道の平均化は平坦側へ bias された解を生み出し、より良い一般化に向けた実用的なアルゴリズム経路を支持する（定理2）。
• 実践的な SGD 反復の平均化（例：SWA）は平坦側へ bias のある解を生み出し、訓練損失が時に高くなってもテスト性能を向上させる（Figure 8 及び関連議論）。
• Batch Normalization は非対称な方向の形成に寄与し、BN パラメータの平均化が特に有効である場合がある（SWA-BN が SWA-Non-BN よりも BN 有効ネットワークで優れる）。
• 高次元のランドスケープでは、対称性の違いによる真の幅の差ではなく、非対称性のために異なる盆地がより広く/浅く見えることを示す（Section 6）。