[論文レビュー] Topology and Geometry of Half-Rectified Network Optimization

C. Daniel Freeman, Joan Bruna|arXiv (Cornell University)|Nov 4, 2016

Stochastic Gradient Optimization Techniques被引用数 32

ひとこと要約

本稿は、深層半整流線形ニューラルネットワークにおける損失関数のトポロジーと幾何学を調査し、データ分布および過パラメータ化に関する弱い条件下で、単層ReLUネットワークが漸近的に接続されていることを証明する。また、レベル集合の測地線的正則性を推定する動的計画法アルゴリズムを導入し、訓練中に損失関数の形状がほぼ凸のままであり、低損失レベルで曲率が増加することを示している。これは、実際のSGDの成功を説明する。

ABSTRACT

The loss surface of deep neural networks has recently attracted interest in the optimization and machine learning communities as a prime example of high-dimensional non-convex problem. Some insights were recently gained using spin glass models and mean-field approximations, but at the expense of strongly simplifying the nonlinear nature of the model. In this work, we do not make any such assumption and study conditions on the data distribution and model architecture that prevent the existence of bad local minima. Our theoretical work quantifies and formalizes two important \emph{folklore} facts: (i) the landscape of deep linear networks has a radically different topology from that of deep half-rectified ones, and (ii) that the energy landscape in the non-linear case is fundamentally controlled by the interplay between the smoothness of the data distribution and model over-parametrization. Our main theoretical contribution is to prove that half-rectified single layer networks are asymptotically connected, and we provide explicit bounds that reveal the aforementioned interplay. The conditioning of gradient descent is the next challenge we address. We study this question through the geometry of the level sets, and we introduce an algorithm to efficiently estimate the regularity of such sets on large-scale networks. Our empirical results show that these level sets remain connected throughout all the learning phase, suggesting a near convex behavior, but they become exponentially more curvy as the energy level decays, in accordance to what is observed in practice with very low curvature attractors.

研究の動機と目的

• 非凸な損失関数の表面を持つにもかかわらず、なぜ確率的勾配降下法（SGD）が深層ReLUネットワークの学習に成功するのかを理解すること。
• 半整流線形ネットワークにおける損失レベル集合のトポロジカル構造、特に接続性を形式的に定量化すること。
• データ分布とモデルの過パラメータ化が、損失関数表面の幾何学的構造にどのように統合的に影響を与えるかを分析すること。
• 大規模な深層ネットワークにおけるレベル集合の幾何的正則性を推定するための効率的なアルゴリズムを開発すること。
• 損失関数の表面が高精度に達するまで接続されており、ほぼ凸であるが、低損失レベルで曲率が増加することを実験的に検証すること。

提案手法

• パラメータの摂動の上限と特徴量の共分散構造に基づいて、単層ReLUネットワークにおけるレベル集合の漸近的接続性を証明する。
• 動的計画法に基づくアルゴリズムを導入し、レベル集合内での測地線を近似し、その幾何的正則性を推定する。
• 中規模のCNNおよびRNNにおいて、連結成分を発見し、測地線長を推定するためのグリーディでスケーラブルなアプローチを用いる。
• MNIST、CIFAR-10、Penn Treebankデータセットにアルゴリズムを適用し、異なるアーキテクチャにおける損失関数表面の幾何学的構造を分析する。
• 非凸性の代理指標として正規化された測地線長を実験的に測定し、低損失レベルでべき則的増加が観察されることを確認する。
• 小さなパラメータ変更が特徴量の共分散に小さな変化を引き起こすという仮定に依拠し、多層ネットワークへと拡張する。

実験結果

リサーチクエスチョン

• RQ1 データ分布およびモデルの過パラメータ化に関するどのような条件下で、単層ReLUネットワークのレベル集合が接続されたままであるか？
• RQ2 訓練中にレベル集合の幾何的正則性はどのように変化するのか？ そして、最適化ダイナミクスにどのような意味を持つのか？
• RQ3 実世界の深層学習タスク（例：画像分類、言語モデリング）は、損失関数の表面においてどの程度ほぼ凸な挙動を示すのか？
• RQ4 大規模なネットワークにおける高次元損失関数表面の接続性と曲率を効率的に推定できるスケーラブルなアルゴリズムは存在するか？
• RQ5 データの滑らかさとモデルの過パラメータ化の相互作用は、悪い局所最適解の不在にどのように寄与するのか？

主な発見

• データ分布および過パラメータ化に関する弱い条件下で、単層ReLUネットワークは漸近的に接続されており、明示的な境界値を用いてトレードオフを定量化できる。
• 高損失レベルではレベル集合の正規化された測地線長が低く保たれ、ほぼ凸な挙動を示し、低損失レベルでべき則的に増加する。
• MNISTにおける実験結果は、最先端の精度に達しても正規化された長さが低く保たれており、MNISTが非常に凸であるという一般的な信念を支持する。
• CIFAR-10では80％のテスト精度でも顕著な非凸性を示し、閾値損失値以下の領域で正規化された長さが急激に増加する。
• Penn TreebankにおけるLSTMモデルも同様の定性的な挙動を示す—高周辺度では非凸性が低く、低周辺度で曲率が増加—アーキテクチャを越えた一般化を確認した。
• エネルギーが減少するに従い、損失関数表面の曲率が指数関数的に増加する。これは、実際の低曲率吸引子の観察と整合的である。