[論文レビュー] The Landscape of Deep Learning Algorithms

Pan Zhou, Jiashi Feng|arXiv (Cornell University)|May 19, 2017

Stochastic Gradient Optimization Techniques参考文献 28被引用数 17

ひとこと要約

本論文は、深層線形および非線形ニューラルネットワークにおける経験的リスクから母集団リスクへの一様収束を分析することにより、深層学習アルゴリズムの最適化形状を理論的に特徴づける初の研究である。リスクおよび勾配の収束速度を確立し、非退化した停留点の1対1対応を証明し、深さ、幅、パラメータの大きさ、および訓練サンプルサイズに依存するサンプル複雑性の境界を導出する。

ABSTRACT

This paper studies the landscape of empirical risk of deep neural networks by theoretically analyzing its convergence behavior to the population risk as well as its stationary points and properties. For an $l$-layer linear neural network, we prove its empirical risk uniformly converges to its population risk at the rate of $\mathcal{O}(r^{2l}\sqrt{d\log(l)}/\sqrt{n})$ with training sample size of $n$, the total weight dimension of $d$ and the magnitude bound $r$ of weight of each layer. We then derive the stability and generalization bounds for the empirical risk based on this result. Besides, we establish the uniform convergence of gradient of the empirical risk to its population counterpart. We prove the one-to-one correspondence of the non-degenerate stationary points between the empirical and population risks with convergence guarantees, which describes the landscape of deep neural networks. In addition, we analyze these properties for deep nonlinear neural networks with sigmoid activation functions. We prove similar results for convergence behavior of their empirical risks as well as the gradients and analyze properties of their non-degenerate stationary points. To our best knowledge, this work is the first one theoretically characterizing landscapes of deep learning algorithms. Besides, our results provide the sample complexity of training a good deep neural network. We also provide theoretical understanding on how the neural network depth $l$, the layer width, the network size $d$ and parameter magnitude determine the neural network landscapes.

研究の動機と目的

• 経験的リスクから母集団リスクへの収束を分析することにより、深層学習アルゴリズムの最適化形状を理論的に特徴づける。
• 経験的リスクの一様収束に基づいて、深層ニューラルネットワークの一般化および安定性の境界を確立する。
• 深層線形および非線形ネットワークにおける経験的リスクと母集団リスクの停留点の対応関係を分析する。
• 最適化形状を決定づける要因としてのネットワークの深さ、幅、パラメータの大きさ、および訓練サンプルサイズの役割を定量化する。
• 一般化性能が保証されるように深層ニューラルネットワークを訓練するためのサンプル複雑性の境界を導出する。

提案手法

• l層線形ネットワークに対して、経験的リスクから母集団リスクへの一様収束が $\mathcal{O}(r^{2l}\sqrt{d\log(l)}/\sqrt{n})$ のレートで成立することを証明する。
• 勾配の一様収束が $\mathcal{O}(r^{2l-1}\sqrt{ld\log(l)\max_j(\bm{d}_j\bm{d}_{j-1})}/\sqrt{n})$ のレートで成立することを確立する。
• 収束保証付きの非退化した停留点の間で、経験的リスクと母集団リスクの間の1対1対応を示す。
• シグモイド活性化関数を有する深層非線形ネットワークに対しても、同じ分析フレームワークを適用し、類似の収束および対応関係の結果を導出する。
• バックプロパゲーションに基づく勾配分解と行列ノルム解析を用いて、感度および収束境界を導出する。
• パラメータの大きさの境界 $r$ とネットワークサイズ $d$ が、収束および一般化性能を制御する上で重要な要因であると提唱する。

実験結果

リサーチクエスチョン

• RQ1 訓練サンプルサイズ、深さ、幅、およびパラメータの大きさを関数として、深層ニューラルネットワークの経験的リスクが母集団リスクにどのように収束するか。
• RQ2 深層線形および非線形ネットワークにおける経験的リスクの停留点と母集団リスクの停留点との間の関係は何か。
• RQ3 ネットワークの深さ $l$、層幅 $\max_j(\bm{d}_j\bm{d}_{j-1})$、全パラメータ次元 $d$、および重みの大きさ $r$ が最適化形状にどのように影響するか。
• RQ4 深層ニューラルネットワークの訓練において一般化および安定性を保証するためのサンプル複雑性は何か。
• RQ5 勾配の経験的リスクから母集団リスクへの収束が一様に有界に保証されるか。その場合、最適化ダイナミクスにどのような意味があるか。

主な発見

• l層線形ネットワークの経験的リスクは、母集団リスクへ一様に $\mathcal{O}(r^{2l}\sqrt{d\log(l)}/\sqrt{n})$ のレートで収束する。
• 経験的リスクの勾配は、母集団リスクの勾配へ一様に $\mathcal{O}(r^{2l-1}\sqrt{ld\log(l)\max_j(\bm{d}_j\bm{d}_{j-1})}/\sqrt{n})$ のレートで収束する。
• 収束保証付きの非退化した停留点の間で、経験的リスクと母集団リスクの間の1対1対応が成立する。
• シグモイド活性化関数を有する深層非線形ネットワークに対しても、類似の収束および対応関係の結果が成立し、線形モデルを超えた理論の拡張が可能となる。
• 良い深層ニューラルネットワークを訓練するためのサンプル複雑性は $\mathcal{O}(r^{4l} d \log l)$ で有界であり、深さおよびパラメータの大きさに依存することが示された。
• 一般化および安定性を確保するためには、パラメータの大きさ $r$ を制御することが不可欠であり、$r$ が大きいと収束が遅くなり、過学習のリスクが高まる。