[論文レビュー] Nonconvex Robust Low-rank Matrix Recovery

Xiao Li, Zhihui Zhu+2 more|arXiv (Cornell University)|Sep 24, 2018

Sparse and Compressive Sensing Techniques参考文献 48被引用数 6

ひとこと要約

本稿では、要因分解された行列表現とℓ₁損失関数を用いて、任意に破損した測定値に対処する非凸でロバストな低ランク行列回復手法を提案する。測定演算子がℓ₁/ℓ₂-制限等長性を満たす限り、ほぼ半数の測定値が破損している場合でも正確な回復が可能であることを証明し、適切に初期化された場合に、幾何的に減少するステップサイズを用いた部分勾配法の線形収束を確立する。

ABSTRACT

In this paper we study the problem of recovering a low-rank matrix from a number of random linear measurements that are corrupted by outliers taking arbitrary values. We consider a nonsmooth nonconvex formulation of the problem, in which we explicitly enforce the low-rank property of the solution by using a factored representation of the matrix variable and employ an $\ell_1$-loss function to robustify the solution against outliers. We show that even when a constant fraction (which can be up to almost half) of the measurements are arbitrarily corrupted, as long as certain measurement operators arising from the measurement model satisfy the so-called $\ell_1/\ell_2$-restricted isometry property, the ground-truth matrix can be exactly recovered from any global minimum of the resulting optimization problem. Furthermore, we show that the objective function of the optimization problem is sharp and weakly convex. Consequently, a subgradient Method (SubGM) with geometrically diminishing step sizes will converge linearly to the ground-truth matrix when suitably initialized. We demonstrate the efficacy of the SubGM for the nonconvex robust low-rank matrix recovery problem with various numerical experiments.

研究の動機と目的

• 任意の大きさの外れ値による破損を受ける線形測定値から低ランク行列を回復する課題に対処する。
• 核ノルム最小化の計算的制限を克服するため、低ランク構造を明示的に強制する非凸で因子化された定式化を用いる。
• 測定値に悪意のある破損が加えられても耐性を持つ最適化フレームワークを開発し、測定値のほぼ半数が破損している場合でさえも有効であることを保証する。
• 測定演算子にやや弱い条件が課されれば、非凸定式化の任意のグローバル最小値から正確な回復が保証されることを理論的に確立する。
• 適切に初期化された場合に、幾何的に減少するステップサイズを用いた部分勾配法が、真の行列へ線形収束することを示す。

提案手法

• 行列をX = UUᵀとパラメータ化することで、要因分解表現を用いたロバスト低ランク行列回復問題を定式化し、観測値と予測値の間のℓ₁損失を最小化する。
• 任意の破損に強い性能を発揮するために、ℓ₁損失関数を用いることで、測定値における外れ値への耐性を高める。これは、無限大に達する大きさの外れ値に対処する上で極めて重要である。
• 低ランク構造を因子分解によって明示的に強制する非滑らかで非凸な最適化問題を導入し、核ノルム正則化を回避する。
• 理論的分析により、目的関数が弱凸的かつ鋭い性質を有することを示し、部分勾配法の収束保証が可能となる。
• 幾何的に減少するステップサイズを用いた部分勾配法（SubGM）を提案し、適切な初期化のもとで真の行列へ線形収束することが証明された。
• 収束を高速化するための初期化戦略として、切り捨てスペクトル法を用いる。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁損失と因子化表現を用いた非凸定式化は、測定値のほぼ半数が任意に破損している場合でも、真の低ランク行列を正確に回復できるか？
• RQ2 測定演算子がどのような条件下で、非凸定式化が任意のグローバル最小値から正確な回復を保証するか？
• RQ3 提案された定式化の目的関数は、鋭さや弱凸性といった好ましい幾何的性質を有するか？
• RQ4 適切に初期化された場合に、幾何的に減少するステップサイズを用いた部分勾配法が、真の行列へ線形収束するか？
• RQ5 高外れ値率下において、提案されたSubGMは、メジアン切断勾配降下法（MTGD）と比較して、ロバスト性と収束性に優れているか？

主な発見

• 提案された非凸定式化（ℓ₁損失と因子化行列表現を併用）により、測定値のほぼ半数が任意に破損している場合でも、真の低ランク行列を正確に回復できる。
• 測定演算子がℓ₁/ℓ₂-制限等長性を満たしていれば、最適化問題の任意のグローバル最小値から正確な回復が保証される。
• 目的関数が弱凸的かつ鋭い性質を有することを証明し、幾何的に減少するステップサイズを用いた部分勾配法の線形収束を保証する。
• 数値実験により、適切に初期化されたSubGMが、幾何的に減少するステップサイズを用いて真の行列へ線形収束することが確認された。
• SubGMは、測定値が50％まで破損している場合でも、十分な数の測定値が存在する限り、メジアン切断勾配降下法（MTGD）を上回るロバスト性を示し、行列を回復できた。
• フェーズ遷移実験により、測定数m ≥ 7nrの場合、測定数が増加するにつれて、より多くの外れ値と高い外れ値率に耐えられることが確認された。