[論文レビュー] The Global Landscape of Neural Networks: An Overview

Ruoyu Sun, Dawei Li+3 more|arXiv (Cornell University)|Jul 2, 2020

Stochastic Gradient Optimization Techniques参考文献 75被引用数 4

ひとこと要約

この論文は、深層ニューラルネットワークのグローバル最適化の様相をレビューし、非凸性にもかかわらず勾配降下法がなぜしばしば成功するのかを分析している。過剰にパラメータ化されたネットワークは、ある条件下では悪い局所的最小値を回避することを確立しており、正則化を追加するか、ニューラルタングエント・カーネル（NTK）フレームワークを用いることでグローバル収束を保証できることを示しており、実際の広大で深いネットワークにおける理論的裏付けを提供している。

ABSTRACT

One of the major concerns for neural network training is that the non-convexity of the associated loss functions may cause bad landscape. The recent success of neural networks suggests that their loss landscape is not too bad, but what specific results do we know about the landscape? In this article, we review recent findings and results on the global landscape of neural networks. First, we point out that wide neural nets may have sub-optimal local minima under certain assumptions. Second, we discuss a few rigorous results on the geometric properties of wide networks such as "no bad basin", and some modifications that eliminate sub-optimal local minima and/or decreasing paths to infinity. Third, we discuss visualization and empirical explorations of the landscape for practical neural nets. Finally, we briefly discuss some convergence results and their relation to landscape results.

研究の動機と目的

• 非凸な損失関数を有するにもかかわらず、勾配降下法がなぜ深層ニューラルネットワークの学習に成功するのかを理解すること。
• ニューラルネットワークの学習において、劣悪な局所的最小値が回避されたり、排除されたりする条件を特定すること。
• 広大なニューラルネットワークの良性幾何構造と収束特性に関する厳密な理論的証明を提供すること。
• 正則化や残差接続などのアーキテクチャの変更が最適化の様相にどのように寄与するかを検討すること。
• 理論的損失関数の様相と実際の訓練成功を結びつけ、特にネットワークの幅と初期化の役割を明らかにすること。

提案手法

• 微小な条件下で、すべての局所的最小値がグローバル最小値であることを示すために、深層線形ネットワークを分析する。
• 過剰にパラメータ化されたネットワークにおける最適化軌道が、劣悪な局所的最小値を避ける理由を説明するための「悪い谷が存在しない」という概念を導入する。
• 超広大なネットワークにおける勾配降下法のグローバル収束を証明するために、ニューラルタングエント・カーネル（NTK）フレームワークを適用する。
• 訓練ダイナミクスの安定性と収束性を分析するために、NTKグラム行列 $K(\theta) = G(\theta)^T G(\theta)$ を用いる。
• 損失関数に正則化を加えることで、すべての局所的最小値がグローバル最小値であることを保証する。
• 連続写像と固有値制約（$\lambda_{\min}(G(\theta(k))) \geq c$）を用いて、特定の条件下でグローバル最小値への収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 過剰にパラメータ化されたニューラルネットワークが、劣悪な局所的最小値を回避する条件は何か？
• RQ2 アーキテクチャ的または損失関数の変更によって、ニューラルネットワークのグローバルな損失関数の様相を「良性」（例：悪い谷が存在しない）にできるか？
• RQ3 ニューラルタングエント・カーネル（NTK）フレームワークは、どのように広大なネットワークにおけるグローバル収束を可能にするか？
• RQ4 幅、初期化、バッチ正則化は最適化の様相にどのように寄与するか？
• RQ5 実際の訓練ダイナミクスとNTKに基づく理論的予測との違いは何か？理論と実践をどのように一致させられるか？

主な発見

• 微小な条件下では、深層線形ネットワークには劣悪な局所的最小値が存在せず、グローバル収束が保証される。
• 過剰にパラメータ化された非線形ネットワークは、ある仮定のもとでは依然として劣悪な局所的最小値を有する可能性があり、『悪い局所的最小値なし』の仮説を否定する。
• 広大なネットワークにおける「悪い谷が存在しない」ことにより、たとえそれらが存在しても、勾配降下法が劣悪な局所的最小値を避ける理由が説明できる。
• 超広大なネットワーク（$\Omega(n^2)$ の幅）では、NTK理論により勾配降下法がゼロ損失へグローバルに収束することが示された。
• 損失関数に正則化を追加することで、すべての局所的最小値がグローバル最小値であることが保証され、損失関数の幾何構造が改善される。
• NTKフレームワークにおいて、勾配行列の最小固有値が下から有界であれば、勾配降下法の任意の極限点は、ゼロ損失のグローバル最小値である。