[論文レビュー] Fast Convergence of Natural Gradient Descent for Over-Parameterized Neural Networks

Guodong Zhang, James Martens+1 more|arXiv (Cornell University)|May 27, 2019

Stochastic Gradient Optimization Techniques被引用数 30

ひとこと要約

本稿は、二乗誤差損失を伴う非線形ニューラルネットワークにおける自然勾配降下法（NGD）の最初の理論的収束解析を確立する。フル・ロー・ランクおよびヤコビ行列の安定性という2つの条件下でグローバル収束を証明し、過パラメータ化された2層ReLUネットワークにおいてこれらが成り立つことを示し、近似NGD手法のK-FACへの拡張も行う。

ABSTRACT

Natural gradient descent has proven very effective at mitigating the catastrophic effects of pathological curvature in the objective function, but little is known theoretically about its convergence properties, especially for \emph{non-linear} networks. In this work, we analyze for the first time the speed of convergence to global optimum for natural gradient descent on non-linear neural networks with the squared error loss. We identify two conditions which guarantee the global convergence: (1) the Jacobian matrix (of network's output for all training cases w.r.t the parameters) is full row rank and (2) the Jacobian matrix is stable for small perturbations around the initialization. For two-layer ReLU neural networks (i.e. with one hidden layer), we prove that these two conditions do hold throughout the training under the assumptions that the inputs do not degenerate and the network is over-parameterized. We further extend our analysis to more general loss function with similar convergence property. Lastly, we show that K-FAC, an approximate natural gradient descent method, also converges to global minima under the same assumptions.

研究の動機と目的

• 非線形ニューラルネットワークにおける自然勾配降下法（NGD）の収束速度の理論的分析。NGDの実験的成功とは対照的に、その収束速度の理解は依然として不十分である。
• 二乗誤差損失を伴う非線形ネットワークに対して、NGDがグローバル最適解にグローバルに収束する十分条件の同定。
• 過パラメータ化された2層ReLUネットワークへの分析の拡張および、入力データとネットワーク幅に関する緩い仮定の下で条件が成り立つことの検証。
• K-FAC（近似NGD手法）が同様の条件下でグローバル収束を達成するかの調査。
• 二乗誤差を超える広範な損失関数クラスへの収束結果の一般化。

提案手法

• 損失関数の曲率を補正するためのフィッシャー情報計量に基づく自然勾配更新則を用いたNGD収束の理論的分析。
• 2つの鍵となる条件の同定：(1) パラメータに関するネットワーク出力のヤコビ行列がフル・ロー・ランクであること、(2) 初期化の周囲での微小な摂動に対してヤコビ行列が安定であること。
• 2層ReLUネットワークにおいて、入力が退化せず、かつネットワークが過パラメータ化されている限り、訓練中を通じてこれらの条件が満たされることの証明。
• 行列の摂動理論およびReLU活性化関数の性質を用いて、初期化および重み更新の下でのヤコビ行列の安定性の確立。
• 同様の仮定の下でヘッセ行列およびフィッシャー情報構造を分析することにより、一般損失関数への収束結果の拡張。
• K-FACへの分析の適応により、その曲率近似が同様の条件下で収束保証を維持することの証明。

実験結果

リサーチクエスチョン

• RQ1 二乗誤差損失を伴う非線形ニューラルネットワークに対して、自然勾配降下法がグローバル最小値にグローバルに収束する条件は何か？
• RQ2 過パラメータ化された2層ReLUネットワークにおいて、ヤコビ行列のフル・ロー・ランクおよび安定性条件が訓練中を通じて成り立つか？
• RQ3 NGDの収束保証は、二乗誤差を超えるより一般の損失関数へも拡張可能か？
• RQ4 近似NGD手法のK-FACも、同様の理論的条件下でグローバル最小値に収束するか？
• RQ5 過パラメータ化は、訓練中のヤコビ行列の安定性およびランクにどのように影響するか？

主な発見

• ヤコビ行列がフル・ロー・ランクであり、微小摂動に対して安定な場合、非線形ニューラルネットワークにおける自然勾配降下法はグローバル最小値にグローバルに収束する。
• 2層ReLUネットワークにおいて、入力データに緩い仮定を課し、かつネットワークが過パラメータ化されている限り、訓練中を通じてフル・ロー・ランクおよび安定性条件が満たされる。
• 収束速度は速く、指定された条件下でグローバル収束が確立されているが、提供されたテキストでは数値的な正確なレートは明示されていない。
• 理論的枠組みは一般損失関数へ拡張可能であり、NGDの収束特性が二乗誤差損失を超えて頑健であることが示唆される。
• K-FAC（近似自然勾配法）も同様の条件下でグローバル最小値に収束することを示し、実用的有効性が理論的に裏付けられる。
• 本研究は、過パラメータ化された非線形ネットワークにおけるNGDおよびK-FACの実験的成功に対する理論的根拠を初めて提供する。