[論文レビュー] Why Learning of Large-Scale Neural Networks Behaves Like Convex Optimization

Hui Jiang|arXiv (Cornell University)|Mar 6, 2019

Stochastic Gradient Optimization Techniques参考文献 21被引用数 5

ひとこと要約

この論文は、非凸性にもかかわらず大規模ニューラルネットワークにおける勾配降下法がグローバルミニマに収束する理由を、損失関数が凸になる標準化空間を導入することで説明している。この空間において、元の空間と標準化空間を結ぶ乖離行列（disparity matrix）がフルランクを維持する限り———ランダム初期化のもとで極めて高い確率で成立する———勾配降下法はゼロ損失に収束し、実質的に凸最適化と同等の挙動を示すことが証明されている。

ABSTRACT

In this paper, we present some theoretical work to explain why simple gradient descent methods are so successful in solving non-convex optimization problems in learning large-scale neural networks (NN). After introducing a mathematical tool called canonical space, we have proved that the objective functions in learning NNs are convex in the canonical model space. We further elucidate that the gradients between the original NN model space and the canonical space are related by a pointwise linear transformation, which is represented by the so-called disparity matrix. Furthermore, we have proved that gradient descent methods surely converge to a global minimum of zero loss provided that the disparity matrices maintain full rank. If this full-rank condition holds, the learning of NNs behaves in the same way as normal convex optimization. At last, we have shown that the chance to have singular disparity matrices is extremely slim in large NNs. In particular, when over-parameterized NNs are randomly initialized, the gradient decent algorithms converge to a global minimum of zero loss in probability.

研究の動機と目的

• 大規模で非凸なニューラルネットワークの学習に単純な勾配降下法が成功する理由という、長年の謎を解明すること。
• 深層学習における勾配降下法がゼロ損失のグローバルミニマに収束する理論的条件を特定すること。
• ネットワーク構造やデータ分布に対する制限的な仮定を一切設けず、数学的に厳密な説明を提供すること。
• 深層学習における経験的事実（例：ランダム重み初期化、過パラメータ化）を、新しい数学的枠組みを用いて理論的に統合すること。
• ランダム初期化や過パラメータ化といった一般的な深層学習の実践的アプローチを、理論的観点から解明すること。

提案手法

• フーリエ解析を用いて導出された標準化モデル空間を導入し、元の非凸最適化問題を凸問題に変換する。
• 元の重み空間と標準化空間の間の点ごとの線形変換を表す乖離行列を定義する。
• 標準化空間において目的関数が凸になることを証明し、フルランク条件下でグローバル収束が可能であることを示す。
• 乖離行列のランクを最適化成功の鍵要因として分析し、過パラメータ化ネットワークでは特異性がまれであることを示す。
• 確率的議論を用いて、過パラメータ化ネットワークにおけるランダム初期化が、確率1でフルランクの乖離行列を維持することを示す。
• 普遍近似理論を適用し、$L^1(\mathbb{U}_K)$ 内の関数に対して、モデル空間が完全性を有することを確立し、ゼロ損失解の表現能力を保証する。

実験結果

リサーチクエスチョン

• RQ1 理論的には失敗すると予想されるにもかかわらず、なぜ大規模で非凸なニューラルネットワークにおいて勾配降下法は一貫してグローバルミニマに収束するのか？
• RQ2 ニューラルネットワークの最適化の地形が、どのような数学的条件下で凸問題に類似した挙動を示すのか？
• RQ3 乖離行列の構造が、ニューラルネットワーク学習における勾配降下法の収束行動にどのように影響を与えるのか？
• RQ4 ランダム初期化が乖離行列のフルランクを保証し、結果としてグローバル収束を実現する役割は何か？
• RQ5 なぜ過パラメータ化が実際のゼロ損失収束を可能にするのか？その背後にある理論的保証は何か？

主な発見

• 大規模ニューラルネットワークの学習において、目的関数は標準化モデル空間で凸となるため、適切な条件下でグローバル収束が可能になる。
• 勾配降下法がゼロ損失のグローバルミニマに収束するための必要十分条件は、トレーニング中に乖離行列がフルランクを維持することである。
• 過パラメータ化ネットワークにおけるランダム初期化のもとで、乖離行列が特異になる確率は無視できるほど小さい。
• 常に非活性（デッドニューロン）であるニューロンや、同一の重みと出力を有する重複ニューロンは、乖離行列のランクを低下させ、収束を妨げる可能性がある。
• 高次元かつランダムに初期化されたネットワークでは、このようなランク不足の構成に遭遇する確率は極めて低いため、SGDの頑健性が説明できる。
• 理論的枠組みは、解析的関数やバンド制限関数を含むさまざまな関数クラスに一般化可能であり、標準的なニューラルネットワーク設定を超えて有効である。