[論文レビュー] Landscape Connectivity and Dropout Stability of SGD Solutions for Over-parameterized Neural Networks

Alexander P. Shevchenko, Marco Mondelli|arXiv (Cornell University)|Dec 20, 2019

Stochastic Gradient Optimization Techniques参考文献 59被引用数 6

ひとこと要約

この論文は、SGDで訓練された過パラメータ化されたニューラルネットワークが、近似的なランドスケープ接続性とドロップアウト安定性を示すことを確立している。ニューロン数が増加するにつれ、SGDの解はニューロンの削除（ドロップアウト）に対してますます安定し、そのような解のペアは、損失の増加が漸近的に消えるような区分的線形経路で接続可能である。これは、過パラメータ化モデルにとって有益な最適化ランドスケープを示唆している。

ABSTRACT

The optimization of multilayer neural networks typically leads to a solution with zero training error, yet the landscape can exhibit spurious local minima and the minima can be disconnected. In this paper, we shed light on this phenomenon: we show that the combination of stochastic gradient descent (SGD) and over-parameterization makes the landscape of multilayer neural networks approximately connected and thus more favorable to optimization. More specifically, we prove that SGD solutions are connected via a piecewise linear path, and the increase in loss along this path vanishes as the number of neurons grows large. This result is a consequence of the fact that the parameters found by SGD are increasingly dropout stable as the network becomes wider. We show that, if we remove part of the neurons (and suitably rescale the remaining ones), the change in loss is independent of the total number of neurons, and it depends only on how many neurons are left. Our results exhibit a mild dependence on the input dimension: they are dimension-free for two-layer networks and depend linearly on the dimension for multilayer networks. We validate our theoretical findings with numerical experiments for different architectures and classification tasks.

研究の動機と目的

• 非凸なランドスケープに偽の最小値を含むにもかかわらず、SGDが過パラメータ化されたニューラルネットワークをどのようにうまく最適化するかを理解すること。
• SGDが得る最小値が、低損失経路を通じて近似的に接続可能であるという経験的観察を説明すること。
• ドロップアウト安定性とランドスケープ接続性を通じて、広いネットワークの改善された最適化行動を理論的に正当化すること。
• 損失の変化がネットワーク幅、入力次元、ドロップアウトパターンサイズにどのように依存するかを定量すること。

提案手法

• N 個のニューロンを持つ2層のReLUネットワークを分析し、SGDダイナミクスの平均場近似を用いて、ニューロン削除後の損失変化の境界を導出する。
• 2層ネットワークにおいて、N−M 個のニューロンをドロップアウトした後の損失変化が、O(√(log M / M)) に比例することを証明し、N や入力次元 d とは独立している。
• 2つのSGD解を結ぶ区分的線形経路を構築し、N が増加するにつれて損失増加が O(√(log N / N)) で有界であることを示す。
• 4層以上の多層ネットワーク（L+1 ≥ 4）へと結果を拡張し、ドロップアウト後の損失変化が O(√((d + log M)/M)) に比例し、ランドスケープ接続性の損失増加が O(√((d + log N)/N)) に比例することを示す。
• 出力層における凸性と補間技術を用いて、解の間の経路で損失が有界に保たれることを維持する。
• 1パスのSGDと経路ベースの損失評価を用いて、等方的ガウス分布、MNIST、CIFAR-10上で理論的発見を経験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化は、SGDで訓練されたニューラルネットワークの損失ランドスケープの接続性にどのように影響するか？
• RQ2 SGDの解はどの程度ニューロンのドロップアウトに対して安定しており、その安定性はネットワーク幅にどのようにスケーリングするか？
• RQ3 ドロップアウト後の損失変化は、残存ニューロン数と入力次元にどのように依存するか？
• RQ4 SGDの解は低損失経路で接続可能か？その経路の損失増加はネットワーク幅にどのように依存するか？

主な発見

• 2層ネットワークにおいて、N−M 個のニューロンをドロップアウトした後の損失変化は、O(√(log M / M)) に比例し、N や d とは独立しており、強いドロップアウト安定性を示している。
• 2つのSGD解を結ぶ区分的線形経路における損失増加は、O(√(log N / N)) で有界であり、N が増加するにつれて消えていく。これは、近似的なランドスケープ接続性を示唆している。
• 4層以上の多層ネットワーク（L+1 ≥ 4）において、ドロップアウト後の損失変化は O(√((d + log M)/M)) に比例し、入力次元 d への依存は線形にのみなる。
• 多層ネットワークにおけるランドスケープ接続性の損失増加は、O(√((d + log N)/N)) に比例し、N ≫ d であれば消えていく。
• 数値実験では、中程度の幅（例：N=800）でもドロップアウト性能が完全なネットワーク性能に近づき、分類誤差は0.4%未満に達する。
• 経験的経路評価では、異なるSGD解を結ぶ区分的線形経路に沿って損失増加が最小限に抑えられ、理論的接続性境界が妥当であることが確認された。