[論文レビュー] Convergence of fixed-point continuation algorithms for matrix rank minimization

Donald Goldfarb, Shiqian Ma|arXiv (Cornell University)|Jun 18, 2009

Sparse and Compressive Sensing Techniques被引用数 10

ひとこと要約

本稿は、行列ランク最小化問題における核ノルム最小化のための固定点補正アルゴリズムの収束性および再構成可能性の性質を確立する。特異値分解と圧縮センシングとの関連を活用することで、測定演算子が制限等長性性質（RIP）を満たす条件下で、これらのアルゴリズムが低ランク解に収束することを証明し、測定演算子のRIP定数が小さい場合に真の低ランク解の正確な再構成が理論的に保証されることを示す。

ABSTRACT

The matrix rank minimization problem has applications in many fields such as system identification, optimal control, low-dimensional embedding, etc. As this problem is NP-hard in general, its convex relaxation, the nuclear norm minimization problem, is often solved instead. Recently, Ma, Goldfarb and Chen proposed a fixed-point continuation algorithm for solving the nuclear norm minimization problem. By incorporating an approximate singular value decomposition technique in this algorithm, the solution to the matrix rank minimization problem is usually obtained. In this paper, we study the convergence/recoverability properties of the fixed-point continuation algorithm and its variants for matrix rank minimization. Heuristics for determining the rank of the matrix when its true rank is not known are also proposed. Some of these algorithms are closely related to greedy algorithms in compressed sensing. Numerical results for these algorithms for solving affinely constrained matrix rank minimization problems are reported.

研究の動機と目的

• 行列ランク最小化問題における核ノルム最小化のための固定点補正アルゴリズムの収束性および再構成可能性を分析すること。
• アフィン制約付き行列問題の真の低ランク解が、これらのアルゴリズムによって回復可能な理論的条件を確立すること。
• 真のランクが未知である場合に行列のランクを推定するためのヒューリスティクスを提案すること。
• 行列ランク最小化アルゴリズムと圧縮センシングにおけるグリーディ法との関係を明らかにすること。
• 提案されたアルゴリズムの数値的妥当性を、行列補完問題およびアフィンランク最小化問題に対して検証すること。

提案手法

• 固定点補正アルゴリズムは、繰り返し、特異値のソフトスレッショルド処理を用いた特異値切り捨て部分問題を解く。
• 各反復で、効率的な低ランク近似を計算するために、近似特異値分解（SVD）を組み込む。
• 線形測定演算子 $\mathcal{A}$ に対して制限等長性性質（RIP）を仮定することで収束を分析し、低ランク行列の安定的再構成を保証する。
• 理論的分析では、低ランク単位フロベニウスノルム行列の凸包を用い、演算子ノルム $\mathcal{A}$ とRIP定数 $\delta_r(\mathcal{A})$ の関係を関連付ける。
• 重要な要素として、集合 $K = \{X : \|X\|_F + \frac{1}{\sqrt{r}}\|X\|_* \leq 1\}$ が、ランク-$r$ 単位フロベニウスノルム行列の凸包 $S$ に含まれることの証明であり、これによりノルムの制御が可能になる。
• アルゴリズムは行列補完問題およびアフィンランク最小化問題に適用され、数値的結果により、強固な性能が確認されている。

実験結果

リサーチクエスチョン

• RQ1 固定点補正アルゴリズムが、核ノルム最小化問題の解に収束する条件は何か？
• RQ2 測定演算子 $\mathcal{A}$ が制限等長性性質（RIP）を満たす場合、固定点補正アルゴリズムは真の低ランク解を再構成できるか？
• RQ3 真のランクが未知である場合、解のランクをどのように推定できるか？
• RQ4 固定点補正アルゴリズムと圧縮センシングにおけるグリーディアルゴリズムとの関係は何か？
• RQ5 異なる行列補完およびアフィンランク最小化テストケースにおいて、数値的性能および収束速度はどのように比較されるか？

主な発見

• 固定点補正アルゴリズムは、標準的な仮定、特に制限等長性性質（RIP）を満たす条件下で、核ノルム最小化問題の解に収束することが保証される。
• 測定演算子 $\mathcal{A}$ が $\delta_{2r}(\mathcal{A}) < 1$ を満たす場合、真の低ランク行列の正確な再構成が保証される。
• アルゴリズムの収束は、低ランク行列の凸包上での演算子ノルム $\mathcal{A}$ の新しい分析により確立された。
• 証明により、$K \subset S$ が成り立つことが示され、ここで $K$ は $\{X : \|X\|_F + \frac{1}{\sqrt{r}}\|X\|_* \leq 1\}$ であり、$S$ はランク-$r$ 単位フロベニウスノルム行列の凸包である。これによりノルムの制御が可能になる。
• 数値実験により、アルゴリズムの有効性が行列補完およびアフィンランク最小化問題（Netflix問題を含む）で確認された。
• 真のランクが未知である場合に有効に機能することが示された、ランク推定のためのヒューリスティクスが提案された。