[論文レビュー] Algorithmic Regularization in Over-parameterized Matrix Recovery

Yuanzhi Li, Tengyu Ma+1 more|arXiv (Cornell University)|Dec 26, 2017

Sparse and Compressive Sensing Techniques被引用数 7

ひとこと要約

この論文は、小さな初期化を伴う勾配降下法が過パラメータ化された行列回復において暗黙の正則化を引き起こすことを示しており、$\tilde{O}(dr^2)$ 個のランダムな線形測定値から $\tilde{O}(\sqrt{r})$ ステップで正確な低ランク行列の再構成が可能である。これは、制限等長性条件の下で Gunasekar らの予想を裏付けており、非線形行列因子分解におけるアルゴリズム的正則化を示している。

ABSTRACT

We study the problem of recovering a low-rank matrix $X^\star$ from linear measurements using an over-parameterized model. We parameterize the rank-$r$ matrix $X^\star$ by $UU^ op$ where $U\in \mathbb{R}^{d imes d}$ is a square matrix, whereas the number of linear measurements is much less than $d^2$. We show that with $ ilde{O}(dr^{2})$ random linear measurements, the gradient descent on the squared loss, starting from a small initialization, recovers $X^\star$ approximately in $ ilde{O}(\sqrt{r})$ iterations. The results solve the conjecture of Gunasekar et al. under the restricted isometry property, and demonstrate that the training algorithm can provide an implicit regularization for non-linear matrix factorization models.

研究の動機と目的

• Gunasekar らの過パラメータ化された行列回復における暗黙の正則化に関する予想を解明すること。
• 小さな初期化を伴う勾配降下法が、アービタント次元よりも少ない測定値から低ランク行列 $X^\star$ をどのように回復するかを分析すること。
• 制限等長性条件の下で、$\tilde{O}(\sqrt{r})$ ステップの収束に対する理論的保証を確立すること。
• 訓練アルゴリズムが非線形行列因子分解モデルにおいて暗黙の正則化を提供することを示すこと。

提案手法

• 行列 $X^\star$ のランク-$r$ を $U \in \mathbb{R}^{d \times d}$ を用いて $UU^\top$ としてパラメータ化し、過パラメータ化を可能にする。
• 線形測定値からの再構成誤差を最小化するため、二乗損失関数に対する勾配降下法を用いる。
• 初期値を小さなランダム値にすることで、暗黙の正則化を誘発する。
• 測定演算子の制限等長性（RIP）を用いて収束を確立する。
• 過パラメータ化された設定における勾配降下法のダイナミクスを分析し、ステップ数の上限を導出する。
• 近似的な回復に必要な $\tilde{O}(dr^2)$ の測定数を導出する。

実験結果

リサーチクエスチョン

• RQ1 小さな初期化を伴う勾配降下法は、過パラメータ化された設定において $d^2$ 個未満の測定値から低ランク行列を回復できるか？
• RQ2 訓練プロセスは非線形行列因子分解モデルにおいて暗黙の正則化を提供するか？
• RQ3 制限等長性条件下での回復に必要なサンプル複雑度は何か？
• RQ4 過パラメータ化された設定において収束に必要なステップ数はどの程度か？
• RQ5 Gunasekar らの予想に従って、アルゴリズムは回復を達成できるか？

主な発見

• 小さな初期化を伴う勾配降下法は、$\tilde{O}(\sqrt{r})$ ステップで $X^\star$ を近似的に回復する。
• この手法は $d^2$ よりもはるかに少ない $\tilde{O}(dr^2)$ 個のランダムな線形測定値で十分である。
• 測定演算子に対して制限等長性が成り立つ限り、回復が保証される。
• 結果は Gunasekar らの行列回復における暗黙の正則化に関する予想を裏付けている。
• 非線形行列因子分解モデルですら、過パラメータ化があってもアルゴリズムが暗黙の正則化を提供する。
• 分析により、過パラメータ化された行列モデルにおける一般化の理論的基盤が確立された。