[論文レビュー] Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent

Tian Tong, Cong Ma+1 more|arXiv (Cornell University)|May 18, 2020

Sparse and Compressive Sensing Techniques被引用数 39

ひとこと要約

Scaled Gradient Descent (ScaledGD) を導入する。これは、条件数に依存せず線形収束を達成する前条件付き因子分解勾配法で、処理ごとの計算量が軽量な ill-conditioned な低ランク行列推定タスクに適用可能である。

ABSTRACT

Low-rank matrix estimation is a canonical problem that finds numerous applications in signal processing, machine learning and imaging science. A popular approach in practice is to factorize the matrix into two compact low-rank factors, and then optimize these factors directly via simple iterative methods such as gradient descent and alternating minimization. Despite nonconvexity, recent literatures have shown that these simple heuristics in fact achieve linear convergence when initialized properly for a growing number of problems of interest. However, upon closer examination, existing approaches can still be computationally expensive especially for ill-conditioned matrices: the convergence rate of gradient descent depends linearly on the condition number of the low-rank matrix, while the per-iteration cost of alternating minimization is often prohibitive for large matrices. The goal of this paper is to set forth a competitive algorithmic approach dubbed Scaled Gradient Descent (ScaledGD) which can be viewed as pre-conditioned or diagonally-scaled gradient descent, where the pre-conditioners are adaptive and iteration-varying with a minimal computational overhead. With tailored variants for low-rank matrix sensing, robust principal component analysis and matrix completion, we theoretically show that ScaledGD achieves the best of both worlds: it converges linearly at a rate independent of the condition number of the low-rank matrix similar as alternating minimization, while maintaining the low per-iteration cost of gradient descent. Our analysis is also applicable to general loss functions that are restricted strongly convex and smooth over low-rank matrices. To the best of our knowledge, ScaledGD is the first algorithm that provably has such properties over a wide range of low-rank matrix estimation tasks.

研究の動機と目的

• ill-conditioning 下の低ランク行列推定において、より速く、条件数に影響されない収束が必要であることを動機づける。
• 低オーバーヘッドで対角スケーリングされた適応前条件付き勾配法として ScaledGD を提案する。
• 主要な問題（行列感知、ロバストPCA、行列補完）に対して、条件数に依存しない線形収束の理論的保証を示す。
• 前処理を考慮した新しい距離測度を通じた統一的分析を提供する。
• 複数のタスクにおいて、素の勾配法を越える経験的加速を示す。

提案手法

• X を LR^T とパラメータ化して rank-r の因子分解を得、L と R を共同で最適化する。
• 勾配ステップに対して対角スケーリングを適用し、(R^T R)^{-1} と (L^T L)^{-1} を用いてスケール更新を形成する。
• 前条件子と GL(r) アクションに対する同定性を考慮した新しい距離測度を導入する。
• スペクトル初期化を用いて、三つのタスク（行列感知、ロバストPCA、行列補完）に対して ScaledGD を具体化する。
• 新しい距離測度のもとで ScaledGD の反復が収束することを証明し、条件数に依存しない線形収束速度を得る。
• 低ランク行列上で制限付き強凸性と滑らかさを持つ一般の損失関数に対して解析を一般化する。

実験結果

リサーチクエスチョン

• RQ1 第一階勾配法の1回の反復コストが勾配法と同程度で、 ill-conditioned な低ランク行列推定に対して条件数に依存しない線形収束を達成できるか。
• RQ2 感知、ロバストPCA、行列補完を横断して高速で数え切れない収束を保証する前処理戦略は何か。
• RQ3 提案する距離測度は前処理が収束に与える影響をどのように捉えるか。
• RQ4 標準的なサンプリング/モデル（RIP、非相関性等）下でもスケーラビリティは保たれ、ほぼ最適なサンプル複雑性を維持できるか。

主な発見

• ScaledGD は適切な初期化の下で、条件数 κ に依存しない線形収束を達成する。
• 行列感知では、ScaledGD は O(log(1/ε)) 回の反復で収束し、測定数が m = O(n r^2 κ^2) で、RIP は δ_{2r} ≤ 0.02/(√r κ)。
• ロバストPCA では、α ≤ c/(μ r^{3/2} κ) の破損がある場合、μ-不一致性を仮定して、Hard Thresholding を用いたScaledGD は O(log(1/ε)) 回の反復で収束する。
• 行列補完では、ScaledGD は O(log(1/ε)) 回の反復で ε 精度を達成し、サンプル複雑性が n1 n2 p ≳ (μ κ^2 ∨ log n) μ n r^2 κ^2。
• ScaledGD は L と R をバランスさせる正規化や追加の不一致性射影を必要としない。これは従来のいくつかの手法とは異なる。
• この枠組みは、低ランク行列上で制限付き強凸かつ滑らかさを持つ一般の損失関数へ拡張可能である。