[論文レビュー] On the Convergence of Deep Networks with Sample Quadratic Overparameterization.

Asaf Noy, Yi Xu+2 more|arXiv (Cornell University)|Jan 12, 2021

Stochastic Gradient Optimization Techniques被引用数 1

ひとこと要約

この論文は、サンプルサイズに対して幅が2次関数的で、深さに対して線形なReLUネットワークに対して、グローバル最小値への収束を確立し、収束時間を対数的とする。固定された活性化パターンを持つサーロゲートネットワークを導入することで、理論的バインディングをより厳密にし、有限幅におけるニューラルタングエント・カーネル（NTK）への同等性を実現し、一般化に及ぼす影響を踏まえた新たなトレーニング加速手法を提供する。

ABSTRACT

Deep neural networks' remarkable ability to correctly fit training data when optimized by gradient-based algorithms is yet to be fully understood. Recent theoretical results explain the convergence for ReLU networks that are wider than those used in practice by orders of magnitude. In this work, we take a step towards closing the gap between theory and practice by significantly improving the known theoretical bounds on both the network width and the convergence time. We show that convergence to a global minimum is guaranteed for networks with widths quadratic in the sample size and linear in their depth at a time logarithmic in both. Our analysis and convergence bounds are derived via the construction of a surrogate network with fixed activation patterns that can be transformed at any time to an equivalent ReLU network of a reasonable size. This construction can be viewed as a novel technique to accelerate training, while its tight finite-width equivalence to Neural Tangent Kernel (NTK) suggests it can be utilized to study generalization as well.

研究の動機と目的

• 理論的収束保証と実際のディープラーニングの間のギャップを埋めるために、ネットワーク幅と収束時間に関する理論的バインディングを改善すること。
• 現実的な幅と深さのスケーリングに近い条件下で、ReLUネットワークの厳密な理論的分析を提供すること。
• 有限幅におけるニューラルタングエント・カーネル（NTK）への同等性を維持しながら、タイトな収束解析を可能にするサーロゲートネットワークの構築をすること。
• このようなサーロゲートネットワークを用いて、NTKへの理論的同等性を損なわずにトレーニングを加速できることを示すこと。
• 提案された構築法を基盤として、有限幅のReLUネットワークにおける一般化を研究する理論的基盤を構築すること。

提案手法

• 著者らは、いつでも同等のReLUネットワークに変換可能な、固定された活性化パターンを持つサーロゲートネットワークを構築する。
• このサーロゲートネットワークは、有限幅におけるニューラルタングエント・カーネル（NTK）への同等性を維持するように設計されており、理論的解析を可能にする。
• この手法は、ReLUネットワークの構造と活性化パターンの安定性を活用し、現実的な幅スケーリング下での収束バインディングを導出する。
• 勾配降下法におけるネットワークのダイナミクスの解析を通じて収束が証明され、幅と深さの両方で対数的収束時間であることが示される。
• 従来の研究とは異なり、実際の設定よりも桁違いに大きな過パラメータ化仮定を避けることで、よりタイトな理論的バインディングが可能になる。
• サーロゲートネットワークは、トレーニングの加速とNTK同等性を介した一般化解析の両方のツールとして機能する。

実験結果

リサーチクエスチョン

• RQ1 極端な過パラメータ化を要件としないで、実際の設定に近い幅スケーリングにおけるReLUネットワークのグローバル収束を保証できるか？
• RQ2 勾配降下法下でグローバル最小値への収束を保証するために、最小限必要なネットワーク幅と深さは何か？
• RQ3 固定された活性化パターンを持つサーロゲートネットワークをどのように構築すれば、有限幅におけるNTKへの同等性を維持できるか？
• RQ4 このようなサーロゲートネットワークを用いて、理論的保証を損なわずにトレーニングを加速できるか？
• RQ5 この構築法は、有限幅のディープネットワークにおける一般化を理解する上でどのような意味を持つのか？

主な発見

• サンプルサイズに対して幅が2次関数的で、深さに対して線形なReLUネットワークでは、グローバル最小値への収束が保証される。
• 収束時間は、ネットワーク幅および深さの両方で対数的スケーリングを示し、従来のバインディングに比べて顕著に改善されている。
• 提案されたサーロゲートネットワークは、有限幅におけるニューラルタングエント・カーネル（NTK）への同等性を維持しており、一般化の理論的解析を可能にする。
• 従来の研究とは異なり、極端な過パラメータ化仮定を避けることで、よりタイトな理論的解析が可能になる。
• サーロゲートネットワークは、いつでも同等のReLUネットワークに変換可能であり、トレーニング加速の実用的メカニズムを提供する。
• この手法は、NTK同等性を介して、有限幅のディープネットワークにおける一般化を研究するための新しい理論的枠組みを確立する。