[論文レビュー] On Connected Sublevel Sets in Deep Learning

Quynh C. Nguyen|arXiv (Cornell University)|Jan 22, 2019

Neural Networks and Applications参考文献 45被引用数 7

ひとこと要約

この論文は、畳み込み層を含まない深層過パラメータ化された全結合ニューラルネットワークにおいて、区分線形活性化関数と凸損失関数を用いる場合、少なくとも1つの隠れ層のニューロン数が訓練サンプル数を上回るとき、訓練損失の任意の部分集合集合（sublevel set）が連結で非有界であることを示している。この幾何的性質は、悪質な局所的谷（bad local valleys）の存在を排除し、勾配降下法が損失関数の地形を悪くない領域に閉じ込められずに探索できることを保証しており、すべてのグローバル最小値が1つの大きな谷に接続されていることを示している。

ABSTRACT

This paper shows that every sublevel set of the loss function of a class of deep over-parameterized neural nets with piecewise linear activation functions is connected and unbounded. This implies that the loss has no bad local valleys and all of its global minima are connected within a unique and potentially very large global valley.

研究の動機と目的

• 非凸性にもかかわらず確率的勾配降下法が深層ニューラルネットワークの最適化に成功する理由を理解すること。
• 過パラメータ化下での損失関数の幾何的構造を調査すること。
• 部分集合集合の連結性が、深層学習における局所探索アルゴリズムの成功を説明できるかどうかを特定すること。
• 損失関数が悪質な局所的谷を避ける条件と、グローバル収束を保証する条件を確立すること。

提案手法

• 訓練データが線形独立である場合、任意サイズのネットワークに対して部分集合集合の連結性を証明する。
• 任意の訓練データに対して結果を拡張するため、少なくとも1つの隠れ層が訓練サンプル数を上回るニューロンを持つものと仮定する。
• 重み行列のフルランク性と区分線形活性化関数の構造を用いて、パラメータ空間におけるパス連結性（path-connectedness）を確立する。
• 凸損失関数（例：二乗損失、交差エントロピー）と区分線形活性化関数の下での損失関数の部分集合集合を定義し、解析する。
• 広い隠れ層が存在する場合、任意の初期点から任意に低い損失値へ至る連続的な降下経路が存在することを活用する。
• 「悪質な局所的谷」を、損失が下限に近づけない厳密な部分集合集合の連結成分として形式化する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークの幅と活性化関数にどのような条件下で損失関数の部分集合集合が連結になるか？
• RQ2 区分線形活性化関数を用いる過パラメータ化された深層ネットワークにおいて、悪質な局所的谷が保証的に存在しないか？
• RQ3 広い隠れ層の存在が、パラメータ空間における部分集合集合の連結性にどのように影響するか？
• RQ4 損失関数の地形が、過パラメータ化された設定で勾配降下法に有利である幾何的性質は何か？
• RQ5 部分集合集合の連結性が、深層学習における確率的勾配降下法の収束性に改善をもたらすか？

主な発見

• 少なくとも1つの隠れ層のニューロン数が訓練サンプル数を上回る場合、損失関数の任意の部分集合集合は連結で非有界である。
• 損失関数は悪質な局所的谷を有さず、任意の初期点から出発する非増加の損失をとる連続的な経路が存在し、下限に近づく。
• 有限のグローバル最小値が存在する場合、それらは1つの、おそらく非常に大きなグローバルな谷に接続されている。
• 本結果は、任意の凸損失関数と区分線形活性化関数（ReLU や Leaky-ReLU を含む）を用いる標準的な深層全結合ネットワークに適用可能である。
• 部分集合集合の連結性は、一般の非凸関数とは対照的に、局所探索アルゴリズムにはるかに有利な損失関数の地形的性質を示している。
• 連結な部分集合集合であっても、初期化が不適切な場合、勾配降下法はグローバル最小値に収束しない可能性があるため、初期化の選択が依然として重要な要因である。