[論文レビュー] The Power of Preconditioning in Overparameterized Low-Rank Matrix Sensing

Xingyu Xu, Yandi Shen+2 more|arXiv (Cornell University)|Feb 2, 2023

Sparse and Compressive Sensing Techniques被引用数 10

ひとこと要約

ScaledGD(λ) を導入する。過パラメータライズドな低ランク行列感知に対する事前条件付き勾配降下法で、小さな乱数初期化から急速に収束し、悪条件化とノイズに対して頑健である。ほぼミニマックス最適誤差を達成し、条件数と次元に対する依存はポリログだけで済む。

ABSTRACT

We propose $ extsf{ScaledGD($λ$)}$, a preconditioned gradient descent method to tackle the low-rank matrix sensing problem when the true rank is unknown, and when the matrix is possibly ill-conditioned. Using overparametrized factor representations, $ extsf{ScaledGD($λ$)}$ starts from a small random initialization, and proceeds by gradient descent with a specific form of damped preconditioning to combat bad curvatures induced by overparameterization and ill-conditioning. At the expense of light computational overhead incurred by preconditioners, $ extsf{ScaledGD($λ$)}$ is remarkably robust to ill-conditioning compared to vanilla gradient descent ($ extsf{GD}$) even with overprameterization. Specifically, we show that, under the Gaussian design, $ extsf{ScaledGD($λ$)}$ converges to the true low-rank matrix at a constant linear rate after a small number of iterations that scales only logarithmically with respect to the condition number and the problem dimension. This significantly improves over the convergence rate of vanilla $ extsf{GD}$ which suffers from a polynomial dependency on the condition number. Our work provides evidence on the power of preconditioning in accelerating the convergence without hurting generalization in overparameterized learning.

研究の動機と目的

• 真のランクが未知で行列が悪条件になる可能性がある場合の低ランク行列感知を扱う。
• 過パラメータライズにおいて頑健さを保つ事前 conditioned 非凸最適化法を開発する。
• 乱数初期化からのグローバル収束保証を提供する。
• 測定ノイズと近似的な低ランク性の下での性能を特徴づける。

提案手法

• ScaledGD(λ) を導入する。固定ダンピング λ を持つ事前条件付き勾配降下法: X_{t+1}=X_t - η ∇f(X_t)(X_t^T X_t + λ I)^{-1} where f(X) = (1/4)||A(XX^T)-y||^2.
• 反復の X への回転に対する同値性を示し、M_t = X_t X_t^T がパラメータ化に不変であることを保証する。
• 感知演算子 A に対するrank-(r*+1) RIP を仮定し、初期化 X_0 = αG を小さく設定（Assumption 2 に従って α を選択） 。
• 過パラメータ化領域 r ≥ r* における乱数初期化からのグローバル収束保証を提供し、反復回数は κ（条件数）と n に対してポリログスケールで増加。
• 厳密なパラメータ化（r = r*）への拡張およびノイズ測定への拡張を行い、κ 因子までのミニマム最適誤差を確立。
• Gaussian デザインの下で近似的な低ランク行列への拡張について議論。

実験結果

リサーチクエスチョン

• RQ1 ScaledGD(λ) はランクが過 parameterized（r ≥ r*）の場合、乱数初期化からグローバル収束を達成できるか？
• RQ2 事前条件付けは、vanilla 勾配降下と比べて収束速度と悪条件化への頑健性にどのような影響を与えるか？
• RQ3 RIP および Gaussian design の下での反復およびサンプル複雑性は？
• RQ4 測定ノイズや近似的低ランク性がある場合、ScaledGD(λ) の性能はどうなるか？
• RQ5 保証は厳密なパラメータ化および近似的低 rank 設定にも拡張されるか？

主な発見

• ScaledGD(λ) は小さな対数的な段階の後に定数線形収束率で真の低ランク行列へ収束し、反復回数は O((log κ)(log κn) + log(1/ε))。
• Gaussian design の下では、サンプル複雑性は過 parameterized なランクではなく真のランク r* に依存し、m ≳ n r*^2 poly(κ) を満たす場合に成立。
• ノイズのある設定では、ScaledGD(λ) は κ 因子までのミニマム最適誤差を達成し、ε が調整されるとノイズなしの場合に近い誤差と同等の最終誤差となる。
• 厳密なパラメータ化（r = r*）は、スペクトル初期化結果に比べて追加の対数オーバヘッドを伴いランク初期化から M* へ収束。
• Gaussian design の下で近似的に低ランクな設定にも拡張でき、M* またはその最良の rank-r 近似 M_r のほぼ最適な復元を維持。
• 本手法は過 parameterized 学習において、前処理によって収束を加速しつつ一般化能力を損なわないことを示す。