[論文レビュー] Explaining Landscape Connectivity of Low-cost Solutions for Multilayer Nets

Rohith Kuditipudi, Xiang Wang+6 more|arXiv (Cornell University)|Jan 1, 2019

Stochastic Gradient Optimization Techniques被引用数 29

ひとこと要約

この論文は、最適解が低損失経路で接続されるという深層ニューラルネットワークにおけるモード接続現象を、良好に訓練された多層ネットワークに共通する一般的な性質、たとえばドロップアウト安定性やノイズ安定性に着目することで説明する。著者らは、現実的な条件下でこのような接続性が自然に生じることを理論的に示し、実用的な深層ネットワークを用いた実験によって検証している。

ABSTRACT

Mode connectivity is a surprising phenomenon in the loss landscape of deep nets. Optima---at least those discovered by gradient-based optimization---turn out to be connected by simple paths on which the loss function is almost constant. Often, these paths can be chosen to be piece-wise linear, with as few as two segments. We give mathematical explanations for this phenomenon, assuming generic properties (such as dropout stability and noise stability) of well-trained deep nets, which have previously been identified as part of understanding the generalization properties of deep nets. Our explanation holds for realistic multilayer nets, and experiments are presented to verify the theory.

研究の動機と目的

• 深層ニューラルネットワークにおける最適解が損失関数の地形において低損失経路で接続される現象、いわゆるモード接続の理由を理解すること。
• 良好に訓練された深層ネットワークに観察される一般的な性質、たとえばドロップアウト安定性やノイズ安定性といった、実験的に観察された性質を用いて、この接続性を説明すること。
• 簡略化されたモデルではなく、現実の多層アーキテクチャに適用可能な理論的基盤を提供すること。
• 標準的な深層学習の設定を用いた実験により理論を検証し、最適解の間に単純で低損失の経路が存在することを確認すること。

提案手法

• ドロップアウト安定性とノイズ安定性という仮定に基づく理論的分析を実施し、これらは良好に訓練された深層ネットワークに一般的に見られる。
• 2つの最適モデルがほぼ一定の損失を維持するような分岐線形経路で接続可能となる条件を導出する。
• 分析は主に損失関数の地形の幾何的性質に焦点を当てており、特に訓練済みモデル間の線形補間における損失の振る舞いを対象としている。
• 標準的な活性化関数と重み初期化を用いた多層フィードフォワードネットワークにこのフレームワークを適用する。
• 理論的結果は、標準的な深層学習ベンチマークを用いた実験的検証によって裏付けられており、最小限のセグメントで低損失経路が存在することを示している。

実験結果

リサーチクエスチョン

• RQ1 なぜ深層ニューラルネットワークにおける最適解が損失関数の地形において低損失経路で接続されるのか？
• RQ2 良好に訓練された深層ネットワークのどのような基本的性質がこのモード接続を生じさせているのか？
• RQ3 ドロップアウトやノイズ安定性といった一般的で実験的に観察された性質を用いてモード接続を説明できるか？
• RQ4 理論的説明は現実の多層ネットワークアーキテクチャに対しても成立するのか？

主な発見

• 深層ネットワークにおけるモード接続は、特定のアーキテクチャの影響ではなく、ドロップアウト安定性やノイズ安定性といった一般的な性質から自然に生じる。
• 最適解は、たった2つのセグメントで構成される分岐線形経路で接続可能であり、その全長にわたりほぼ一定の損失を維持できる。
• 理論的フレームワークは、単なる簡略化された設定や理想化された状況にとどまらず、現実の多層ネットワークに適用可能である。
• 実験により、標準的な学習手順で得られた最適解の間にこのような低損失経路が存在することが確認された。