[論文レビュー] Global Convergence of Sub-gradient Method for Robust Matrix Recovery: Small Initialization, Noisy Measurements, and Over-parameterization

Jianhao Ma, Salar Fattahi|arXiv (Cornell University)|Feb 17, 2022

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿は、ノイズあり・汚染済み測定値および過パラメータ化モデルのもとで、ロバストな低ランク行列回復に対する部分勾配法（SubGM）のグローバル収束を確立する。小さな初期化が過パラメータ化およびノイズの悪影響を相殺し、SubGM が真の低ランク解へ指数関数的に収束することを示す。これは、任意に大きく密集したノイズが存在する状況でも成立し、新規の「符号制限付き挿入性性質」（Sign-RIP）を用いて実現される。

ABSTRACT

In this work, we study the performance of sub-gradient method (SubGM) on a natural nonconvex and nonsmooth formulation of low-rank matrix recovery with $\ell_1$-loss, where the goal is to recover a low-rank matrix from a limited number of measurements, a subset of which may be grossly corrupted with noise. We study a scenario where the rank of the true solution is unknown and over-estimated instead. The over-estimation of the rank gives rise to an over-parameterized model in which there are more degrees of freedom than needed. Such over-parameterization may lead to overfitting, or adversely affect the performance of the algorithm. We prove that a simple SubGM with small initialization is agnostic to both over-parameterization and noise in the measurements. In particular, we show that small initialization nullifies the effect of over-parameterization on the performance of SubGM, leading to an exponential improvement in its convergence rate. Moreover, we provide the first unifying framework for analyzing the behavior of SubGM under both outlier and Gaussian noise models, showing that SubGM converges to the true solution, even under arbitrarily large and arbitrarily dense noise values, and--perhaps surprisingly--even if the globally optimal solutions do not correspond to the ground truth. At the core of our results is a robust variant of restricted isometry property, called Sign-RIP, which controls the deviation of the sub-differential of the $\ell_1$-loss from that of an ideal, expected loss. As a byproduct of our results, we consider a subclass of robust low-rank matrix recovery with Gaussian measurements, and show that the number of required samples to guarantee the global convergence of SubGM is independent of the over-parameterized rank.

研究の動機と目的

• 非凸・非滑らか低ランク行列回復における ℓ₁損失を用いた部分勾配法（SubGM）のグローバル収束を分析すること。
• 探索ランク r′ が真のランク r より大きい過パラメータ化の課題に取り組み、通常は収束性を劣化させ、過学習を引き起こす。
• 測定値にノイズおよび著しい汚染が存在する場合の SubGM の性能への影響を検討し、特に任意のノイズレベル下での挙動を分析する。
• 外れ値ノイズモデルとガウスノイズモデルの両方における SubGM の分析を統合し、極端なノイズに対してもロバストであることを示す。
• 小さな初期化が SubGM が過パラメータ化およびノイズに鈍感になることを示し、近似的最適な収束速度を達成できることを示す。

提案手法

• SubGM の解軌道を信号成分と残差成分に分離する信号-残差分解を提案する。
• 部分微分の理想損失挙動からの逸脱を制御するための、新規なロバスト版制限挿入性性質（Sign-RIP）を導入する。
• 三段階の解析法を採用：初期一時的遷移段階、残差の減衰段階、最終的な指数的収束段階。
• 信号項、クロス項、残差項の1ステップダイナミクス（命題7〜9を用いて）を用い、残差ノルムおよび信号誤差の進化を評価する。
• 小さな初期化により、残差項が有界に保たれ、減少することが保証され、信号項が指数的に真の解へ収束することを確立する。
• 小さな初期化により、部分勾配ステップサイズが小さく保たれ、残差成分が無視可能になることを利用し、実質的に低ランクモデルを模倣している。

実験結果

リサーチクエスチョン

• RQ1 SubGM は、任意のノイズレベル、特に著しい汚染が存在する状況でも、ロバストな低ランク行列回復に対してグローバル収束を達成できるか？
• RQ2 r′ ≫ r の場合でも、小さな初期化が SubGM の収束に対する過パラメータ化の悪影響を排除できるか？
• RQ3 グローバルまたはローカル最小値が真の行列に対応しない状況でも、SubGM は真の解へ収束可能か？
• RQ4 ガウス測定のもとで、SubGM の収束速度は過パラメータ化されたランク r′ に依存しないか？
• RQ5 提案された Sign-RIP 条件は、非滑らか・非凸設定における部分微分の挙動をどのように制御するか？

主な発見

• 小さな初期化を用いた SubGM は、過パラメータ化にかかわらず、真の低ランク解へ指数的収束を達成する。
• 小さな初期化により、過パラメータ化の影響が相殺され、実質的に r′ = r の場合と同等に動作し、指数的収束の改善が得られる。
• 任意に大きく密集したノイズ、たとえグローバル最適解が真の行列と一致しない場合でも、SubGM は真の解へ収束する。
• ガウス測定モデルにおいて、SubGM のグローバル収束に必要なサンプル数は、過パラメータ化されたランク r′ に依存しない。
• 提案された Sign-RIP 条件により、ℓ₁損失の部分微分が理想損失に近く保たれ、収束解析が可能になる。
• 信号-残差分解における残差項は有界に保たれ、時間経過とともに減少し、信号項は真の解へ指数的に収束する。