[論文レビュー] Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact Recovery

Lijun Ding, Liwei Jiang+3 more|arXiv (Cornell University)|Sep 23, 2021

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、真のランクが過剰に指定されている場合でも、粗大なノイズがかかるガウス測定値からのロバストな低ランク行列回復のためのステップサイズを徐々に小さくする勾配降下法を提案する。制限方向保存性（RDPP）条件下で、非線形収束速度で正確な回復を達成し、因子ランクが真のランクと一致すると自動的に線形収束に加速される。数値的に検証され、過パrameter化された設定における過学習を防ぐ効果も示されている。

ABSTRACT

We study the robust recovery of a low-rank matrix from sparsely and grossly corrupted Gaussian measurements, with no prior knowledge on the intrinsic rank. We consider the robust matrix factorization approach. We employ a robust $\\ell_1$ loss function and deal with the challenge of the unknown rank by using an overspecified factored representation of the matrix variable. We then solve the associated nonconvex nonsmooth problem using a subgradient method with diminishing stepsizes. We show that under a regularity condition on the sensing matrices and corruption, which we call restricted direction preserving property (RDPP), even with rank overspecified, the subgradient method converges to the exact low-rank solution at a sublinear rate. Moreover, our result is more general in the sense that it automatically speeds up to a linear rate once the factor rank matches the unknown rank. On the other hand, we show that the RDPP condition holds under generic settings, such as Gaussian measurements under independent or adversarial sparse corruptions, where the result could be of independent interest. Both the exact recovery and the convergence rate of the proposed subgradient method are numerically verified in the overspecified regime. Moreover, our experiment further shows that our particular design of diminishing stepsize effectively prevents overfitting for robust recovery under overparameterized models, such as robust matrix sensing and learning robust deep image prior. This regularization effect is worth further investigation.

研究の動機と目的

• 真のランクが事前に分からない状況におけるロバストな低ランク行列回復の課題に対処すること。
• スパースで粗大なノイズを含む測定値を扱える、$ε$-部分勾配法を用いた非凸・非滑らか最適化手法の開発。
• 因子分解次元$k$が真のランク$r$を上回る（ランクの過剰指定）状況下でも、正確な回復の保証を確立すること。
• 因子ランクが真のランクと一致するようになるまで、収束速度が非線形から線形に加速される理論的収束レートの導出。
• ロバスト行列センシングやディープイメージプライヤーなどの過パrameter化モデルにおいて、ステップサイズを徐々に小さくする手法が過学習を防ぐ正則化効果を示すこと。

提案手法

• 非凸・非滑らかの目的関数を用いた因子分解形式のロバスト回復問題を定式化し、$ε$-部分勾配法を適用する。
• 測定値に含まれるスパースなノイズを扱うために、ロバストな$\ell_1$損失関数を採用する。
• 真のランク$r$を事前に知らない場合に備え、$X = FF^T$（$F \in \mathbb{R}^{d \times k}$、$k > r$）という過剰な因子分解を用いる。
• 非凸・非滑らか最適化問題を解くために、ステップサイズを徐々に小さくする勾配降下法を適用する。
• 収束性と安定性の向上を図るため、スペクトル初期化を導入する。
• ガウス測定値とスパースノイズに対して一般的に成立する制限方向保存性（RDPP）条件下で収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 非凸・非滑らか最適化手法を用いて、$k > r$ というランクの過剰指定状況下でも、真の低ランク行列の正確な回復が可能か？
• RQ2 ステップサイズを徐々に小さくする勾配降下法は、RDPP条​​件を満たす場合に真の低ランク行列に収束するか？
• RQ3 勾配降下法の収束速度は何か？ また、因子ランク$k$が真のランク$r$と一致すると、収束速度が向上するか？
• RQ4 ステップサイズを徐々に小さくするスケジューリングは、ロバスト行列センシングやディープイメージプライヤーなどの過パrameter化モデルにおいて、過学習をどのように防ぐか？
• RQ5 RDPP条​​件が満たされる条件は何か？ また、ガウス測定値にスパースノイズが加わった実用的状況でも成立するか？

主な発見

• 測定数$m = \tilde{\mathcal{O}}(dk^3)$の下で、ランクの過剰指定下でも、高確率で真の低ランク行列$X_{\natural}$の正確な回復が達成される。
• RDPP条件下で、$k > r$ の場合、勾配降下法は収束速度$\mathcal{O}(1/t)$の非線形収束を示す。
• 因子ランク$k$が真のランク$r$と一致すると、曲率の性質が向上し、収束速度が線形に加速される。
• ガウス測定行列とスパースノイズに対して、RDPP条件は一般に成立し、独立なノイズモデルおよびアドバーシャルノイズモデルの両方を含む。
• ステップサイズを徐々に小さくするスケジューリングは、ロバスト行列センシングやディープイメージプライヤーなどの過パrameter化モデルにおいて、過学習を効果的に防ぐ正則化効果を示している。