[論文レビュー] A global convergence theory for deep ReLU implicit networks via over-parameterization

Tianxiang Gao, Hailiang Liu+3 more|arXiv (Cornell University)|Oct 11, 2021

Stochastic Gradient Optimization Techniques参考文献 36被引用数 5

ひとこと要約

本稿は、過剰パラメータ化を用いて、深さ無限大のReLUを活性化関数とする暗黙的ニューラルネットワークにおけるグローバル収束理論を確立する。ネットワークの幅が訓練サンプル数の多項式関数に比例する場合、無限に多くの層を持つにもかかわらず、ランダムに初期化された勾配降下法が平方損失に対して線形収束してグローバル最小値に到達することを証明している。

ABSTRACT

Implicit deep learning has received increasing attention recently due to the fact that it generalizes the recursive prediction rules of many commonly used neural network architectures. Its prediction rule is provided implicitly based on the solution of an equilibrium equation. Although a line of recent empirical studies has demonstrated its superior performances, the theoretical understanding of implicit neural networks is limited. In general, the equilibrium equation may not be well-posed during the training. As a result, there is no guarantee that a vanilla (stochastic) gradient descent (SGD) training nonlinear implicit neural networks can converge. This paper fills the gap by analyzing the gradient flow of Rectified Linear Unit (ReLU) activated implicit neural networks. For an $m$-width implicit neural network with ReLU activation and $n$ training samples, we show that a randomly initialized gradient descent converges to a global minimum at a linear rate for the square loss function if the implicit neural network is extit{over-parameterized}. It is worth noting that, unlike existing works on the convergence of (S)GD on finite-layer over-parameterized neural networks, our convergence results hold for implicit neural networks, where the number of layers is extit{infinite}.

研究の動機と目的

• 非線形活性化関数（ReLUなど）を用いる暗黙的ニューラルネットワークのトレーニングにおける理論的理解の不足を解消すること。
• 無限大の深さを持つネットワークにおける不適切に定式化された均衡方程式が解を1つに定めない、あるいは複数解を持つという課題を克服すること。
• 非滑らかで非凸な最適化の流れにもかかわらず、ReLU活性化付きの暗黙的ネットワークにおける勾配降下法のグローバル収束を確立すること。
• 有限の深さを超えたネットワークにまで拡張された過剰パラメータ化理論を、無限大の層数を持つ暗黙的ネットワークに適用する収束保証を提供すること。

提案手法

• 均衡方程式を用いて暗黙的ネットワークを形式化する：$\mathbf{z}^\ell = \sigma\left(\frac{\gamma}{\sqrt{m}}\mathbf{A}\mathbf{z}^{\ell-1} + \phi(\mathbf{x})\right)$、ここで$\sigma$はReLU関数であり、$\gamma \in (0,1)$により、$\mathbf{z}^* = \lim_{\ell \to \infty} \mathbf{z}^\ell$ の極限が収束することが保証される。
• 予測を $\hat{\mathbf{y}} = \mathbf{Z}\mathbf{u} + \mathbf{\Phi}\mathbf{v}$ としてモデル化する。ここで$\mathbf{Z}, \mathbf{\Phi}$ は暗黙的ネットワークの出力を表し、$\mathbf{u}, \mathbf{v}$ は出力重みを表す。
• 予測誤差 $\|\hat{\mathbf{y}}(k) - \mathbf{y}\|^2$ の各ステップでの減少を、リャプノフ型関数を用いて勾配フローで解析する。
• 訓練中における均衡の存在を保証するため、幅 $m = \text{poly}(n, h)$ の過剰パラメータ化を用いる。ここで$n$はサンプル数を表す。
• コーシー＝シュワルツと行列ノルムの不等式を用いて、$\|\hat{\mathbf{y}}(k+1) - \hat{\mathbf{y}}(k)\|$ と内積 $\langle \hat{\mathbf{y}}(k+1) - \hat{\mathbf{y}}(k), \hat{\mathbf{y}}(k) - \mathbf{y} \rangle$ の境界を確立する。
• 線形収束を証明するため、$\alpha = \mathcal{O}(\lambda_0 / n^2)$ の条件下で $\|\hat{\mathbf{y}}(k+1) - \mathbf{y}\|^2 \leq \left(1 - \frac{\alpha \lambda_0}{2}\right)^{k+1} \|\hat{\mathbf{y}}(0) - \mathbf{y}\|^2$ を示す。

実験結果

リサーチクエスチョン

• RQ1 無限大の層数を持つReLU活性化付きの暗黙的ニューラルネットワークにおいて、勾配降下法がグローバルに収束できるか？
• RQ2 過剰パラメータ化により、暗黙的ネットワークのトレーニング中に適切に定式化された均衡解が一意に存在することが保証されるか？
• RQ3 非滑らかで非凸な損失関数を持つ暗黙的ネットワークにおいても、勾配降下法の収束速度が線形である可能性はあるか？
• RQ4 ネットワークの幅$m$は、無限大の深さの状態において勾配降下法の収束にどのように影響するか？
• RQ5 初期化および学習率にどのような条件を課すことで、暗黙的ReLUネットワークにおけるグローバル収束が保証されるか？

主な発見

• ランダムに初期化された勾配降下法は、ReLU活性化付きの暗黙的ニューラルネットワークにおいて、平方損失に対して線形収束してグローバル最小値に到達する。
• 収束速度は $\|\hat{\mathbf{y}}(k+1) - \mathbf{y}\|^2 \leq \left(1 - \frac{\alpha \lambda_0}{2}\right)^{k+1} \|\hat{\mathbf{y}}(0) - \mathbf{y}\|^2$ であり、$k$ に関して線形収束を示している。
• 幅 $m = \text{poly}(n)$ の過剰パラメータ化により、トレーニング中における一意な均衡点の存在が保証され、適切に定式化された問題としての課題が解決される。
• ネットワークが無限大の層数を持つにもかかわらず、この結果は成り立つ。これは、過剰パラメータ化理論を有限の深さを超えたネットワークに拡張したことを示している。
• 解析により、グラム行列の最小固有値 $\lambda_0$ に対する弱い仮定のもとで、勾配フローが安定かつ収束することが示された。
• 収束保証は、投影や部分問題の解法を必要とせず、固定ステップサイズ $\alpha = \mathcal{O}(\lambda_0 / n^2)$ を用いた標準的（確率的）勾配降下法に対しても有効である。