[論文レビュー] A proof of convergence for the gradient descent optimization method with random initializations in the training of neural networks with ReLU activation for piecewise linear target functions

Arnulf Jentzen, Adrian Riekert|arXiv (Cornell University)|Aug 10, 2021

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

この論文は、ランダム初期化を伴う確率的勾配降下法が、区分的線形の目的関数を学習するReLUニューラルネットワークにおいて、リスクがゼロに収束することを証明している。正規分布による初期化と一様入力分布の下で、著者らはグローバルミニマが2回連続で微分可能な部分多様体をなしており、ヘッセ行列がフルランクであることを示すことにより、非凸最適化における最近の収束理論を応用して収束を確立した。

ABSTRACT

Gradient descent (GD) type optimization methods are the standard instrument to train artificial neural networks (ANNs) with rectified linear unit (ReLU) activation. Despite the great success of GD type optimization methods in numerical simulations for the training of ANNs with ReLU activation, it remains - even in the simplest situation of the plain vanilla GD optimization method with random initializations and ANNs with one hidden layer - an open problem to prove (or disprove) the conjecture that the risk of the GD optimization method converges in the training of such ANNs to zero as the width of the ANNs, the number of independent random initializations, and the number of GD steps increase to infinity. In this article we prove this conjecture in the situation where the probability distribution of the input data is equivalent to the continuous uniform distribution on a compact interval, where the probability distributions for the random initializations of the ANN parameters are standard normal distributions, and where the target function under consideration is continuous and piecewise affine linear. Roughly speaking, the key ingredients in our mathematical convergence analysis are (i) to prove that suitable sets of global minima of the risk functions are \\emph{twice continuously differentiable submanifolds of the ANN parameter spaces}, (ii) to prove that the Hessians of the risk functions on these sets of global minima satisfy an appropriate \\emph{maximal rank condition}, and, thereafter, (iii) to apply the machinery in [Fehrman, B., Gess, B., Jentzen, A., Convergence rates for the stochastic gradient descent method for non-convex objective functions. J. Mach. Learn. Res. 21(136): 1--48, 2020] to establish convergence of the GD optimization method with random initializations.

研究の動機と目的

• ランダム初期化を伴う勾配降下法がReLUニューラルネットワークの学習においてゼロリスクに収束するかどうかという未解決問題を解消すること。
• 一様入力分布と標準正規初期化の下で、連続的かつ区分的アフィンな目的関数に対する収束を確立すること。
• リスク関数のグローバルミニマの集合が、パラメータ空間内の2回連続で微分可能な部分多様体であることを証明すること。
• この部分多様体上でのリスク関数のヘッセ行列が最大ランク条件を満たしていることを確認すること。
• 高度な収束理論を応用して、幅、初期化回数、ステップ数が増加する際、ほぼ確実にゼロリスクに収束することを示すこと。

提案手法

• リスク関数のグローバルミニマの集合が、ニューラルネットワークのパラメータ空間内に $ C^2 $-滑らかさを持つ部分多様体であることを証明すること。
• この部分多様体に制限されたリスク関数のヘッセ行列が最大ランクを満たしており、非退化性が保証されることを確立すること。
• 微分幾何学的道具を用いて、勾配フローのグローバルミニマの部分多様体への局所的収束挙動を分析すること。
• 非凸最適化におけるランダム初期化の収束枠組み（Fehrmanら, 2020）を活用すること。
• $ K $ 個の独立したランダム初期化を伴う確率的勾配降下スキームを定義し、全走行における最小リスクを追跡すること。
• 集中と尾確率の不等式を適用して、$ K \to \infty $ のとき、任意に小さなリスクを達成する確率が1に近づくことを示すこと。

実験結果

リサーチクエスチョン

• RQ1 ランダム初期化を伴う勾配降下法は、区分的線形の目的関数を学習するReLUネットワークにおいて、ゼロリスクに収束するか？
• RQ2 リスク関数のグローバルミニマは、パラメータ空間内で滑らかな部分多様体として特徴付けられるか？
• RQ3 リスク関数のヘッセ行列は、グローバルミニマの集合上で非退化（フルランク）か？
• RQ4 初期化回数とステップ数が増加する際、収束結果はほぼ確実に成立するか？
• RQ5 与えられた幾何的および確率的仮定の下で、収束速度を定量的に評価できるか？

主な発見

• リスク関数のグローバルミニマの集合は、ニューラルネットワークのパラメータ空間内で $ C^2 $-滑らかな部分多様体をなす。
• この部分多様体上でのリスク関数のヘッセ行列は最大ランク条件を満たしており、局所的安定性と収束性が保証される。
• 任意の固定された学習率 $ \gamma \leq \mathfrak{g} = ((3N+1)(24\mathfrak{D}^5 + 16N\mathfrak{D}^7)(\sup_{x\in[a,b]} \mathfrak{p}(x)))^{-1} $ に対して、ランダム初期化回数 $ K \to \infty $ のとき、リスクはほぼ確実にゼロに収束する。
• ステップ数 $ n $ に対して、部分多様体の近傍にある初期化におけるリスクの収束速度は指数関数的であり、$ \mathcal{L}(\Theta_n^{k,\gamma}) \leq \mathfrak{C} \exp(-\mathfrak{c} \gamma n) $ が成り立つ。
• $ K $ 個の独立した走行における最小リスクがゼロに収束する確率は、$ 1 - [\mathbb{P}(\Theta_0^{1,\gamma} \notin U)]^K $ で下から抑えられ、$ K \to \infty $ のとき1に近づく。
• この結果は、コンact区間上の一様入力分布、標準正規初期化、および連続的かつ区分的アフィンな目的関数という仮定の下で成り立つ。