[論文レビュー] On the Proof of Global Convergence of Gradient Descent for Deep ReLU Networks with Linear Widths

Quynh Nguyen|arXiv (Cornell University)|Jan 24, 2021

Stochastic Gradient Optimization Techniques参考文献 20被引用数 10

ひとこと要約

この論文は、標準パラメータ化された深層ReLUネットワークにおける勾配降下法のグローバル収束に関する簡略化された証明を提示する。本証明では、活性化パターンの変化を複雑に分析する必要がなく、初期化の種別に応じて線形、2次、または3次関数的広がりを持つ1つの広い隠れ層のみを必要とする。本手法は、ReLUのリプシッツ性を用いて最後の隠れ層の出力を追跡することで、全NTK行列の分析を避ける。これにより、先行研究に比べて過剰パラメータ化の要件が改善される。

ABSTRACT

We give a simple proof for the global convergence of gradient descent in training deep ReLU networks with the standard square loss, and show some of its improvements over the state-of-the-art. In particular, while prior works require all the hidden layers to be wide with width at least $Ω(N^8)$ ($N$ being the number of training samples), we require a single wide layer of linear, quadratic or cubic width depending on the type of initialization. Unlike many recent proofs based on the Neural Tangent Kernel (NTK), our proof need not track the evolution of the entire NTK matrix, or more generally, any quantities related to the changes of activation patterns during training. Instead, we only need to track the evolution of the output at the last hidden layer, which can be done much more easily thanks to the Lipschitz property of ReLU. Some highlights of our setting: (i) all the layers are trained with standard gradient descent, (ii) the network has standard parameterization as opposed to the NTK one, and (iii) the network has a single wide layer as opposed to having all wide hidden layers as in most of NTK-related results.

研究の動機と目的

• 標準パラメータ化された深層ReLUネットワークにおける勾配降下法のグローバル収束を、より簡単な証明で示すこと。
• すべての隠れ層が広い必要があるとされる先行研究と比較して、過剰パラメータ化の要件を低減すること。
• ReLUネットワークの証明を複雑にする、トレーニング中の活性化パターンの変化の詳細な分析を避けること。
• 訓練サンプル数Nに依存する広がりの依存関係を改善したグローバル収束を確立すること。
• 初期化の種別に応じて、線形、2次、または3次関数的広がり（Nの関数）を持つ1つの広い隠れ層のみが十分であることを示すこと。

提案手法

• 証明は、NTK行列の最小固有値に対する下界を、最後の隠れ層の出力から得る：λ_min(K) ≥ λ_min(F_{L-1}F_{L-1}^T)。
• ReLUのリプシッツ性を用いて、トレーニング中のF_{L-1}（最後の隠れ層の出力）の変化を制御する。
• 主な革新点は、各イテレーションにおける損失を分解するために、遷移行列G = F_{L-1}^k W_L^{k+1} を用いることである。これにより、三角不等式を用いた明確な収束議論が可能になる。
• 先行のReLUネットワークにおけるNTKベースの証明とは異なり、全NTK行列や活性化パターンの変化を追跡しない。
• 初期化における十分な条件を導出し、初期化時およびトレーニング中におけるλ_min(F_{L-1}F_{L-1}^T)が0から離れていることを保証する。
• 本手法は、すべての層で標準的な勾配降下更新を用いる。入力層や出力層を固定しないため、より自然で明確な証明が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ReLUネットワークにおける勾配降下法のグローバル収束を、活性化パターンの変化を追跡せずに証明できるか？
• RQ2 1つの隠れ層のみが広い場合、グローバル収束のための最小過剰パラメータ化要件は何か？
• RQ3 全NTK行列ではなく、最後の隠れ層の出力に注目することで、収束証明を簡略化できるか？
• RQ4 提案手法は、先行研究と比較してNに依存する広がりの依存関係を改善するか？
• RQ5 標準パラメータ化とすべての層の完全なトレーニングが、初期化条件を緩くした場合でもグローバル収束を保証できるか？

主な発見

• 標準パラメータ化された深層ReLUネットワークにおける勾配降下法のグローバル収束が、1つの広い隠れ層のみを要件として確立された。
• LeCun初期化の場合、2層ネットワークではNの2次関数的広がりが十分であり、より深い構造ではNの3次関数的広がりが必要である。
• 過剰パラメータ化の要件はO(N)からO(N^3)にまで改善され、すべての隠れ層が広いとされる先行研究のO(N^8)を上回る。
• 活性化パターンの変化の分析を避けることで、ReLUネットワーク解析における主要な技術的障壁を回避した。
• 損失の単調減少が保証され、固定されたネットワークサイズに対して、εに依存しない高確率で0に収束することが保証される。
• 主な洞察は、トレーニング中にλ_min(F_{L-1}F_{L-1}^T)が0から離れているならば、勾配降下法がグローバル最適解に線形収束することである。