[論文レビュー] Using Mode Connectivity for Loss Landscape Analysis

Akhilesh Deepak Gotmare, Nitish Shirish Keskar+2 more|arXiv (Cornell University)|Jun 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 7

ひとこと要約

本稿は、損失が低い曲線によってニューラルネットワークの極小点を接続する『モード接続性』の多様な学習設定における頑健性を調査し、異なる最適化手法、初期化、ハイパーパrameterに対してその強靭性を示している。著者らはこのフレームワークをSGDにコサインスケジューリングとリセットを適用したSGDRの分析に応用し、SGDRが損失の障壁を越えるが、以前の研究で主張されたように複数の局所的極小点に収束し、それらから脱出するわけではないことを明らかにした。

ABSTRACT

Mode connectivity is a recently introduced frame- work that empirically establishes the connected- ness of minima by finding a high accuracy curve between two independently trained models. To investigate the limits of this setup, we examine the efficacy of this technique in extreme cases where the input models are trained or initialized differently. We find that the procedure is resilient to such changes. Given this finding, we propose using the framework for analyzing loss surfaces and training trajectories more generally, and in this direction, study SGD with cosine annealing and restarts (SGDR). We report that while SGDR moves over barriers in its trajectory, propositions claiming that it converges to and escapes from multiple local minima are not substantiated by our empirical results.

研究の動機と目的

• 異なる最適化手法、初期化、ハイパーパrameterを含む多様な学習スキームにおけるモード接続性の頑健性を評価すること。
• SGDRが、以前の研究で示唆されたように複数の局所的極小点に収束し、それらから脱出するかどうかを調査すること。
• モード接続性を、深層学習における損失面と最適化軌道の分析ツールとして用いること。
• 高精度の接続曲線が一般化性能およびアンサンブル手法に与える影響を明らかにすること。
• 損失面の分析に基づき、SGDRが明確に分離された極小点を移動すると解釈される根拠を覆すこと。

提案手法

• パラメータ空間における区分的線形曲線を介して、独立に学習された2つのモデル（極小点）を接続するモード接続性を用いる。
• 1つの折り目を持つ多角形チェーンとして接続曲線をパラメータ化し、曲線全体の期待損失を最適化するための確率的勾配降下法を適用する。
• 期待損失 ℓ(θ) = E[t∼U(0,1)]ℒ(ϕθ(t)) をSGDを用いて最小化し、勾配のミニバッチ推定値を用いる。
• 折り目点 θ を2つのモデルのパラメータの中点に初期化する：θ₀ = ½(wₐ + w_b)。
• 3つの主要なモデル（例：w₇₀, w₁₅₀, w₇₀₋₁₅₀）で定義される2次元部分空間にSGDRの最適化軌道を射影し、損失面の挙動を可視化する。
• 接続曲線とSGDR軌道に沿った訓練損失および検証損失を比較し、一般化性能および障壁を越える挙動を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる最適化手法、学習率スケジューリング、正則化設定で学習された極小点を、モード接続性が信頼性を持って接続できるか？
• RQ2 SGDRが、以前の研究で予想されたように複数の局所的極小点に収束し、それらから脱出するのか？
• RQ3 モード接続曲線に沿った損失面は、SGDRの実際の学習軌道とどのように比較できるか？
• RQ4 モード接続性は、接続曲線に沿ったモデルの一般化特性についてどのような洞察を提供するか？
• RQ5 モード接続性フレームワークは、孤立した極小点を超えて、損失面の構造的性質をどの程度明らかにするか？

主な発見

• モード接続性は、異なる最適化手法（Adam、SGD）、学習率スケジューリング、バッチサイズ、初期化に対しても有効に保たれる。
• SGDRの軌道が損失の障壁を越えることは、中間のモデルと最終モデルを結ぶ線分に沿った訓練損失がエンドポイントよりも高くなることで裏付けられている。
• 障壁を越えるにもかかわらず、SGDRは複数の明確な局所的極小点に収束し、それらから脱出しないことが判明し、以前の主張とは矛盾する。
• w₇₀とw₁₅₀の間の接続曲線は、最終のSGDRモデル（ℒ(w₁₅₀) > ℒ(w₇₀₋₁₅₀)）よりも低い訓練損失を達成しており、学習面におけるより優れた解である可能性を示している。
• 接続曲線上のモデルはSGDRの反復点よりも一般化性能が悪く、検証損失が高くなることが示された。これは、SGDの確率的性質が一般化を助ける役割を果たしている可能性を示唆している。
• 2次元損失面の射影から、w₇₀とw₁₅₀の間の領域は訓練損失が低く、検証損失が高いことが判明し、周期的学習率を用いた反復点の平均化が一般化性能を向上させる理由の一つである可能性が示唆された。