[論文レビュー] A Recipe for Global Convergence Guarantee in Deep Neural Networks

Kenji Kawaguchi, Qingyun Sun|arXiv (Cornell University)|Apr 12, 2021

Stochastic Gradient Optimization Techniques参考文献 46被引用数 4

ひとこと要約

本稿では、ニューラルトランジットカーネル（NTK）領域を超えた実用的ディープニューラルネットワークにおけるグローバル収束を保証する二段階訓練アルゴリズムを提案する。この手法は、データおよびアーキテクチャに依存する検証可能な「表現力条件」を導入することで実現される。この条件を満たせば、すべての層がグローバル最小値に収束することが保証され、狭い隠れ層と広い最終層を持つ全結合ネットワークに対して理論的検証が行われ、バッチノーマライゼーションを備えた深層ResNetsについて、標準データセット上での数値的検証がなされた。また、標準のSGDと同等の汎化性能が維持されている。

ABSTRACT

Existing global convergence guarantees of (stochastic) gradient descent do not apply to practical deep networks in the practical regime of deep learning beyond the neural tangent kernel (NTK) regime. This paper proposes an algorithm, which is ensured to have global convergence guarantees in the practical regime beyond the NTK regime, under a verifiable condition called the expressivity condition. The expressivity condition is defined to be both data-dependent and architecture-dependent, which is the key property that makes our results applicable for practical settings beyond the NTK regime. On the one hand, the expressivity condition is theoretically proven to hold data-independently for fully-connected deep neural networks with narrow hidden layers and a single wide layer. On the other hand, the expressivity condition is numerically shown to hold data-dependently for deep (convolutional) ResNet with batch normalization with various standard image datasets. We also show that the proposed algorithm has generalization performances comparable with those of the heuristic algorithm, with the same hyper-parameters and total number of iterations. Therefore, the proposed algorithm can be viewed as a step towards providing theoretical guarantees for deep learning in the practical regime.

研究の動機と目的

• 理論的グローバル収束保証と実用的ディープラーニングのギャップを埋めること。NTK領域を超えると既存手法が失敗する現状を改善する。
• すべての層がグローバル最小値に収束することを保証する訓練アルゴリズムを開発し、表現学習を可能にすること。
• データに依存し、アーキテクチャに依存する条件「表現力条件」を定義・検証し、実世界のネットワークへの適用可能性を確保すること。
• 提案手法が、同一のハイパーパramータおよび訓練イテレーション数を用いた場合、標準のSGDと同等の汎化性能を維持することを示すこと。

提案手法

• 提案手法は、任意の一次勾配法を二段階訓練手順に変更することで、グローバル収束を保証する。
• 主な革新点は、データおよびアーキテクチャに依存する「表現力条件」の導入であり、この条件を満たせばグローバル収束が保証される。
• 理論的分析に依拠し、表現力条件が成り立つならば、勾配降下法がすべてのネットワーク層に対してグローバル最小値に収束することを示している。
• 理論的検証のため、表現力条件が、狭い隠れ層と1つの広い最終層を持つ全結合ネットワークで成り立つことを証明した。
• 実験的検証のため、CIFAR-10 や ImageNet などの標準画像データセット上でのバッチノーマライゼーション付き深層ResNetsにおいて、条件が数値的に成り立つことを確認した。
• 同じハイパーパramータおよび総訓練イテレーション数を用いることで、汎化性能が標準のSGDと同等に保たれるようにアルゴリズムを設計した。

実験結果

リサーチクエスチョン

• RQ1 NTK領域を超えた実用的ディープニューラルネットワークにおいて、グローバル収束を保証することは可能か？
• RQ2 実用的領域におけるグローバル収束を可能にする条件は何か？ その条件は実世界のアーキテクチャに対して検証可能か？
• RQ3 提案手法は、標準の訓練手順と同等の汎化性能を維持するか？
• RQ4 表現力条件は、特定の幅構成を持つ全結合ネットワークに対して理論的に成り立つか？
• RQ5 表現力条件は、標準データセット上でのバッチノーマライゼーション付き深層畳み込みネットワークに対して数値的に検証可能か？

主な発見

• 表現力条件は、狭い隠れ層と1つの広い最終層を持つ全結合ディープニューラルネットワークに対して理論的に成り立つことが証明され、グローバル収束が保証される。
• 表現力条件は、CIFAR-10、CIFAR-100、ImageNet データセット上でのバッチノーマライゼーション付き深層ResNetsにおいて、数値的に成り立つことが確認された。
• 表現力条件が満たされれば、損失関数および勾配のリプシッツ連続性に関する標準的仮定のもとで、二段階訓練アルゴリズムはすべての層に対してグローバル収束を達成する。
• 実験的に、同じハイパーパramータおよび総イテレーション数を用いた場合、二段階アルゴリズムの汎化性能が標準のSGDと同等であることが示された。
• 従来のNTKベースのアプローチとは異なり、本手法は表現学習を有効に可能にした。NTKベースの手法は「ラジカルなトレーニング」領域に留まるが、本手法はそれを回避する。
• 理論的分析により、ヤコビ行列のランクが出力ユニット数と等しい場合、かつ表現力条件が成り立つならば、グローバル収束が保証されることが示された。