[論文レビュー] Essentially No Barriers in Neural Network Energy Landscape

Felix Draxler, Kambis Veschgini+2 more|arXiv (Cornell University)|Mar 2, 2018

Stochastic Gradient Optimization Techniques参考文献 21被引用数 131

ひとこと要約

本論文は、CIFAR10/100 における現代のニューラルネットワークのミニマが、実質的にフラットな経路で連結され、顕著なエネルギー障壁がないことを示唆しており、ミニマは単一の連結した低損失多様体を形成することを示している。

ABSTRACT

Training neural networks involves finding minima of a high-dimensional non-convex loss function. Knowledge of the structure of this energy landscape is sparse. Relaxing from linear interpolations, we construct continuous paths between minima of recent neural network architectures on CIFAR10 and CIFAR100. Surprisingly, the paths are essentially flat in both the training and test landscapes. This implies that neural networks have enough capacity for structural changes, or that these changes are small between minima. Also, each minimum has at least one vanishing Hessian eigenvalue in addition to those resulting from trivial invariance.

研究の動機と目的

• ニューロンネットワークの損失ミニマは孤立した点ではなく、連結された低損失多様体を形成するとは提案する。
• メソッドを開発・適用し、アーキテクチャ間のミニマ間の最小エネルギー経路を見つける。
• CIFAR10 および CIFAR100 上の最先端ネットワークのミニマ間の経路に沿った障壁を定量化する。
• 観察された経路連結性と低障壁を定性的に説明し、経験的な証拠を提供する。

提案手法

• 二つのミニマ間の最小エネルギー経路（MEP）を、経路上の最大損失を最小化する経路として定義する。
• Nudged Elastic Band (NEB) 法をニューラルネットワークの損失地形に適用・拡張し、障壁の低い軌道へと経路を変形させる。
• Automated Nudged Elastic Band (AutoNEB) を用い、補節点を追加して損失が高い箇所を再サンプリング・改良する。
• CIFAR10/100 で複数のアーキテクチャ（CNNs、ResNets、DenseNets）間のミニマを結び、経路上のサドル点を評価する。
• ミニマ間のサドルエネルギーの上限を要約するために、最小全域木を構築する。
• MEP に沿ったネットワークパラメータの軌跡を定性的・定量的に分析する。

実験結果

リサーチクエスチョン

• RQ1 現代のニューラルネットワークのミニマは孤立したベースンにあるのか、それとも低損失の経路で連結可能なのか？
• RQ2 NEB/AutoNEB はアーキテクチャ間で独立に存在するミニマを連結する最小エネルギー経路を明らかにできるのか？
• RQ3 これらの経路に沿うサドル点のエネルギーは、訓練・テストのミニマ損失とどのように比較されるのか？
• RQ4 深さと幅を増すと CIFAR データセット間のミニマ間の障壁は低くなるのか？
• RQ5 観察された経路連結性を説明する物理化学に触発した直観（例: レジリエンス、冗長性）は何か？

主な発見

• 独立に訓練されたミニマ間に、トレーニング損失が経路上でほぼミニマの値に近いまま連続する経路が存在する。
• これらの経路に沿うテスト損失はほぼ一定に保たれ、テスト誤差はわずかにしか増えない。
• 障壁はアーキテクチャが深く・広くなるにつれて低下し、CIFAR10/100 では深い ResNets および DenseNets で障壁がほぼ消失する。
• 局所的な最小エネルギー経路（MEP）は、パラメータの軌跡が滑らかで、特にサドル点付近では線形内挿から大きく外れない。
• AutoNEB は低障壁な経路の構築を可能にし、ミニマの最小全域木を介してサドルエネルギーの上限を提供する。
• 本研究は、ミニマが孤立した谷ではなく単一の連結した低損失多様体上にあることを示唆する。