[論文レビュー] Gradient Descent Finds Global Minima for Generalizable Deep Neural Networks of Practical Sizes

Kenji Kawaguchi, Jiaoyang Huang|arXiv (Cornell University)|Aug 5, 2019

Stochastic Gradient Optimization Techniques参考文献 23被引用数 7

ひとこと要約

この論文は、勾配降下法が訓練サンプル数に対して線形に増加するパラメータ数を有する深層ニューラルネットワークにおいてもグローバル・ミニマに到達可能であることを証明し、理論と実践の溝を埋めている。ネットワークのサイズが Ω̃(n) である場合、自然画像データセット上でのトレーニング可能性と一般化性能が保証され、線形スケーリング率は対数要因を除いて最適であることが示された。

ABSTRACT

In this paper, we theoretically prove that gradient descent can find a global minimum of non-convex optimization of all layers for nonlinear deep neural networks of sizes commonly encountered in practice. The theory developed in this paper only requires the practical degrees of over-parameterization unlike previous theories. Our theory only requires the number of trainable parameters to increase linearly as the number of training samples increases. This allows the size of the deep neural networks to be consistent with practice and to be several orders of magnitude smaller than that required by the previous theories. Moreover, we prove that the linear increase of the size of the network is the optimal rate and that it cannot be improved, except by a logarithmic factor. Furthermore, deep neural networks with the trainability guarantee are shown to generalize well to unseen test samples with a natural dataset but not a random dataset.

研究の動機と目的

• 理論的トレーニング可能性の結果と実践的ディープラーニングのギャップを埋めるために、勾配降下法が実用的サイズのネットワークにおいてもグローバル・ミニマに到達可能であることを証明すること。
• 従来の理論が多項式的または指数的増加を要するのに対し、パラメータ数がデータセットサイズに対して線形増加（Ω̃(n)）で十分であることを確立すること。
• 自然データセット上では一般化性能が良好であるが、ランダムラベルデータ上では一般化できない、Ω̃(n) パラメータを有するネットワークがトレーニング可能であることを示し、トレーニング可能性と一般化の関連を明示すること。
• 線形スケーリング率が対数要因を除いて最適であり、これ以上改善できないことを証明すること。
• 将来的なデータ依存・アーキテクチャ依存のネットワークトレーニング可能性分析を可能にする「おそらくトレーニング可能」というフレームワークを形式化すること。

提案手法

• ReLU活性化関数と残差接続を備えた深層フィードフォワードネットワークにおける勾配降下法のダイナミクスの理論的分析を用いる。
• 有界な重みノルムを持つパラメータ集合における一般化誤差を制限するために、ラデマッハ複雑度と集中不等式を適用する。
• スケーリングパラメータ ς を用いたパラメータ化スキームを導入し、重み行列ノルムを制御することで、パラメータクラス全体にわたる一様な境界を得る。
• 重みノルムクラス（インデックス k でインデックス付け）の和集合にわたるユニオンバウンドを用いて、すべてのパラメータ設定において高確率で成り立つ一般化境界を導出する。
• コーシー＝シュバルツとジェンセンの不等式を用いて、入力ノルムとネットワークの深さに依存するラデマッハ複雑度の境界を導出する。
• 特定のデータおよびアーキテクチャ条件の下で成功したトレーニングの可能性を形式化するため、おそらくトレーニング可能集合 P_{n,H,δ} を定義する。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法は、訓練サンプル数に比例して線形に増加するパラメータ数を有する実用的サイズの深層ニューラルネットワークにおいてもグローバル・ミニマに到達可能か？
• RQ2 パラメータ数の線形スケーリング（Ω̃(n)）は、深層ネットワークのトレーニング可能性と一般化に十分か？
• RQ3 深層ネットワークのトレーニング可能性はデータ分布に依存するか？具体的には、自然画像データセットでは一般化するが、ランダムラベルデータでは一般化しないか？
• RQ4 Ω̃(n) スケーリング率は最適か、それ以上の対数要因の改善は可能か？
• RQ5 データ依存およびアーキテクチャ依存のトレーニング可能性分析を統合するための「おそらくトレーニング可能」という形式的フレームワークを構築可能か？

主な発見

• 勾配降下法は、訓練サンプル数 n に対して Ω̃(n) パラメータを有する深層ニューラルネットワークにおいてもグローバル・ミニマに到達可能であり、実用的ネットワークサイズと一致する。
• 線形スケーリング率 Ω̃(n) は対数要因を除いて最適であり、対数要因の削減なしには改善できない。
• Ω̃(n) パラメータを有するニューラルネットワークは、MNIST や Fashion-MNIST のような自然データセット上で良好に一般化するが、ランダムラベルデータでは一般化に失敗する。
• 理論的分析により、一般化がデータ構造に依存することを確認し、自然データとランダムデータの間で一般化ギャップと重みノルムの増加が相関していることが示された。
• 一般化誤差境界はラデマッハ複雑度と集中不等式を用いて導出され、高確率で訓練誤差がゼロに収束することを示した。
• おそらくトレーニング可能集合 P_{n,H,δ} のフレームワークが形式化され、将来的なデータ依存・アーキテクチャ依存のトレーニング可能性分析が可能となった。