[論文レビュー] Topology and Geometry of Deep Rectified Network Optimization Landscapes

C. Daniel Freeman, Joan Bruna|arXiv (Cornell University)|Nov 4, 2016

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

この論文は、平均場やスピンガラス近似などの簡略化仮定を用いずに、深層ReLUネットワークの最適化の多様体を調査し、半整流化された1層ネットワークが弱い条件下で漸近的に接続されていることを証明する。データの滑らかさとモデルの過パラメータ化の相互作用が多様体の幾何構造を制御しており、トレーニング中にレベル集合は接続されたままでありながら、徐々に曲率が増すことが明らかになった—非凸性にもかかわらず、近似的に凸的な挙動を示唆している。

ABSTRACT

The loss surface of deep neural networks has recently attracted interest in the optimization and machine learning communities as a prime example of high-dimensional non-convex problem. Some insights were recently gained using spin glass models and mean-field approximations, but at the expense of strongly simplifying the nonlinear nature of the model. In this work, we do not make any such assumption and study conditions on the data distribution and model architecture that prevent the existence of bad local minima. Our theoretical work quantifies and formalizes two important \emph{folklore} facts: (i) the landscape of deep linear networks has a radically different topology from that of deep half-rectified ones, and (ii) that the energy landscape in the non-linear case is fundamentally controlled by the interplay between the smoothness of the data distribution and model over-parametrization. Our main theoretical contribution is to prove that half-rectified single layer networks are asymptotically connected, and we provide explicit bounds that reveal the aforementioned interplay. The conditioning of gradient descent is the next challenge we address. We study this question through the geometry of the level sets, and we introduce an algorithm to efficiently estimate the regularity of such sets on large-scale networks. Our empirical results show that these level sets remain connected throughout all the learning phase, suggesting a near convex behavior, but they become exponentially more curvy as the energy level decays, in accordance to what is observed in practice with very low curvature attractors.

研究の動機と目的

• 平均場やスピンガラス近似などの簡略化仮定を用いずに、深層ReLUネットワークの損失関数のトポロジー構造を理解すること。
• ReLUネットワークが線形ネットワークとは本質的に異なる最適化の多様体を持つという広く知られた直感的信念を形式的に定量化すること。
• データ分布の滑らかさとモデルの過パラメータ化が、損失関数の多様体の幾何構造にどのように統合的に影響を与えるかを分析すること。
• レベル集合の幾何構造を用いて勾配降下法の条件数を分析し、大規模なネットワークにおけるその正則性を推定する効率的なアルゴリズムを開発すること。
• トレーニングプロセス全体にわたり、レベル集合の接続性と曲率の変化を実験的に検証すること。

提案手法

• 理論的分析により、データ分布およびモデルの過パラメータ化に関する弱い条件下で、半整流化された1層ネットワークが漸近的に接続されていることを証明する。
• データの滑らかさと過パラメータ化の相互作用が多様体のトポロジーに与える影響を明示的な境界で形式化する。
• 幾何的性質を活用して、大規模な深層ネットワークにおけるレベル集合の正則性を効率的に推定するアルゴリズムを導入する。
• 実験的評価により、トレーニングエポックにわたってレベル集合の接続性と曲率を追跡し、その幾何的変化を評価する。
• 勾配降下法の条件数と収束挙動を評価するため、部分レベル集合の幾何的解析を活用する。
• 理論的および実験的分析は、特に低損失領域付近のエネルギー多様体の構造に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 深層ReLUネットワークの最適化の多様体は、深層線形ネットワークとトポロジカルにどのように異なるか？
• RQ2 ReLUネットワークにおいて悪い局所最適解が生じないための、データ分布およびモデルアーキテクチャに必要な条件は何か？
• RQ3 データの滑らかさと過パラメータ化の相互作用が、損失関数の多様体の接続性にどのように影響を与えるか？
• RQ4 ReLUネットワークにおいて、トレーニングプロセス全般にわたり損失関数のレベル集合は接続されているか？
• RQ5 トレーニングが低損失領域に近づくにつれて、レベル集合の曲率はどのように変化するか？

主な発見

• 半整流化された1層ネットワークは、データ分布およびモデルの過パラメータ化に関する弱い仮定のもとで漸近的に接続されている。
• 明示的な境界により、データの滑らかさと過パラメータ化の相互作用が多様体の幾何的構造を制御することが明らかになった。
• 実験的結果から、すべてのトレーニング段階においてレベル集合が接続されたままであることが示され、近似的に凸的な挙動が示唆された。
• エネルギー準位が低下するに従い、レベル集合の曲率が指数関数的に増加することが分かった—実際の応用で観察される非常に低い曲率の吸引子と整合的である。
• 提案されたアルゴリズムにより、大規模な深層ネットワークにおけるレベル集合の正則性を効率的に推定でき、最適化ダイナミクスの幾何的解析が可能になった。
• 本研究の結果は、深層学習における長年の広く知られた直感的信念を形式的かつ定量的に定式化した：線形ネットワークとReLUネットワークのトポロジカルな違い、およびデータの滑らかさと過パラメータ化が損失多様体の形状に与える役割。