[論文レビュー] Algorithmic Regularization in Over-parameterized Matrix Sensing and Neural Networks with Quadratic Activations

Yuanzhi Li, Tengyu Ma+1 more|arXiv (Cornell University)|Dec 26, 2017

Stochastic Gradient Optimization Techniques被引用数 148

ひとこと要約

本論文は、過剰パラメータ化を伴う勾配降下法が暗黙の正則化として作用し、線形測定から低ランクの PSD 行列を回復することを示し、解析を1隠れ層ネットワークに対する2次活性化へ拡張する。

ABSTRACT

We show that the gradient descent algorithm provides an implicit regularization effect in the learning of over-parameterized matrix factorization models and one-hidden-layer neural networks with quadratic activations. Concretely, we show that given $\ ilde{O}(dr^{2})$ random linear measurements of a rank $r$ positive semidefinite matrix $X^{\\star}$, we can recover $X^{\\star}$ by parameterizing it by $UU^\ op$ with $U\\in \\mathbb R^{d\ imes d}$ and minimizing the squared loss, even if $r \\ll d$. We prove that starting from a small initialization, gradient descent recovers $X^{\\star}$ in $\ ilde{O}(\\sqrt{r})$ iterations approximately. The results solve the conjecture of Gunasekar et al.'17 under the restricted isometry property. The technique can be applied to analyzing neural networks with one-hidden-layer quadratic activations with some technical modifications.

研究の動機と目的

• RIP の下で、過剰パラメータ化された行列因数分解において勾配降下法がどのように暗黙の正則化を生み出すかを理解する。
• UU^T パラメータ化を用いて、O(dr^2 polylog d) 個の測定からランク r の PSD 行列を回復できることを示す。
• 解析を1隠れ層ニューラルネットワーク（2次活性化）へ拡張する。
• 初期化の大きさに結びつく収束速度と汎化挙動を特徴付ける。

提案手法

• PSD ターゲット X* を U U^T とパラメータ化する。U ∈ R^{d×d}。
• RIP 測定の下で、平方損失 f(U) = (1/2m) sum_i (y_i - <A_i, UU^T>)^2 を最小化する。
• 小さな初期化 U_0 = αB を用いて、勾配降下更新 U_{t+1} = U_t - η ∇f(U_t) を解析する。
• RIP を利用して、更新において M_t が (UU^T - X*) のように振る舞うことを示し、X* への収束を可能にする。
• U_tU_t^T - X* を低ランク部分と小さな誤差に分解し、濃度補題を適用する。
• 2次活性化を持つニューラルネットワークへ洞察を拡張し、サンプル複雑性について議論する。

実験結果

リサーチクエスチョン

• RQ1 RIP の下で、過剰パラメータ化された因数分解 UU^T による勾配降下法は、O(dr^2 polylog d) 測定からランク r の PSD 行列を回復できるか？
• RQ2 初期化サイズは過剰パラメータ設定での汎化誤差を規定し、過剰適合を防ぐか？
• RQ3 アルゴリズム的正則化現象は、2次活性化を持つ1隠れ層ニューラルネットワークにも拡張できるか？
• RQ4 この領域における有限ステップサイズを持つ勾配降下法の反復計算複雑度と安定性特性は何か？
• RQ5 RIP 下で、ランク1と高ランク (r>1) のターゲット間で解析はどのように異なるか？

主な発見

• RIP があると、小さな初期化から始めた GD は約 O( sqrt(r) ) 回の反復で X* に近い UU^T を持つ解へ収束する（初期化依存の誤差を除く）。
• 汎化（テスト）誤差はパラメータ数ではなく初期化 α に比例してスケールし、小さな α の場合はほぼゼロの汎化誤差を可能にする。
• 必要な測定数は m ≲ d poly(r log d) にスケールし、つまり前述の RIP 条件の下では ~dr^2 log^3 d。
• この枠組みは、RIP 下のマトリクス感知の文脈において Gunasekar et al. の予測を肯定し、最小ランク/トレースノルム解への暗黙の正則化を示す。
• 2次活性化を持つニューラルネットワークへ拡張し、約 O(dr^5 κ^6) サンプルで汎化保証を与える（定数と対数因子を除く）。
• 経験的結果は、汎化が初期化サイズに依存し、小さな α の下で早期停止なしで勾配降下法が安定になり得ることを支持する。