[論文レビュー] A Singular Value Thresholding Algorithm for Matrix Completion

Jian‐Feng Cai, Emmanuel J. Candès+1 more|ArXiv.org|Oct 18, 2008

Sparse and Compressive Sensing Techniques参考文献 34被引用数 131

ひとこと要約

本稿では、核ノルム最小化を用いた低ランク行列補完のための特異値しきい値処理（SVT）アルゴリズムを提案する。この手法は、反復的なソフトしきい値処理を用いて、少ない観測エントリからも行列を効率的に回復する。アルゴリズムは高速収束と低メモリ使用を実現し、1,000×1,000行列を1分未塔で回復可能であり、10億規模の行列についても0.4％のサンプルエントリから回復可能である。

ABSTRACT

This paper introduces a novel algorithm to approximate the matrix with minimum nuclear norm among all matrices obeying a set of convex constraints. This problem may be understood as the convex relaxation of a rank minimization problem, and arises in many important applications as in the task of recovering a large matrix from a small subset of its entries (the famous Netflix problem). Off-the-shelf algorithms such as interior point methods are not directly amenable to large problems of this kind with over a million unknown entries. This paper develops a simple first-order and easy-to-implement algorithm that is extremely efficient at addressing problems in which the optimal solution has low rank. The algorithm is iterative and produces a sequence of matrices (X^k, Y^k) and at each step, mainly performs a soft-thresholding operation on the singular values of the matrix Y^k. There are two remarkable features making this attractive for low-rank matrix completion problems. The first is that the soft-thresholding operation is applied to a sparse matrix; the second is that the rank of the iterates X^k is empirically nondecreasing. Both these facts allow the algorithm to make use of very minimal storage space and keep the computational cost of each iteration low. We provide numerical examples in which 1,000 by 1,000 matrices are recovered in less than a minute on a modest desktop computer. We also demonstrate that our approach is amenable to very large scale problems by recovering matrices of rank about 10 with nearly a billion unknowns from just about 0.4% of their sampled entries. Our methods are connected with linearized Bregman iterations for l1 minimization, and we develop a framework in which one can understand these algorithms in terms of well-known Lagrange multiplier algorithms.

研究の動機と目的

• 低ランク行列補完に生じる核ノルム最小化問題を解くための効率的な1次元アルゴリズムの開発を目的とする。
• 内点法が次元の高さのため計算不能となる大規模行列補完問題の計算不能性に対処することを目的とする。
• 解の低ランク構造を活用して、1反復あたりのストレージおよび計算コストを最小化することを目的とする。
• 行列補完のための半定値計画法の実用的でスケーラブルな代替手法を提供することを目的とする。
• 中規模および非常に大規模な問題、特に約10億の未知数を含む問題に対しても、アルゴリズムの有効性を示すこと。

提案手法

• アルゴリズムは、線形制約の射影と特異値しきい値処理の操作を交互に繰り返す反復スキームを用いる。
• 各反復で、行列 Y^k の特異値にソフトしきい値処理を適用し、D_τ(Y^k) として定義される演算子を用いて次の反復 X^k を得る。
• 特異値しきい値処理演算子 D_τ(Y) は、部分的再正規化を伴うランツォス双対対角化を用いて計算され、スパース入力に対して効率的である。
• アルゴリズムは核ノルム最小化の双対定式化から導出され、ウザワのアルゴリズムおよび線形化ブレグマン反復と関連している。
• 継続法が提案されており、暖冷スタートを用いて τ を段階的に増加させることで収束速度を向上させる。
• 反復 X^k のランクは非減少を保ち、低ランク構造の活用と計算オーバーヘッドの低減を支援する。

実験結果

リサーチクエスチョン

• RQ1 1次元で実装が容易なアルゴリズムが、大規模行列補完問題において高い効率性と低メモリ使用を達成できるか？
• RQ2 反復スキームにおいてスパース行列に特異値しきい値処理を適用しても、計算的に実行可能か？
• RQ3 SVTアルゴリズムの反復におけるランクが、実験的に非減少であり、真の解のランクに収束することが示せるか？
• RQ4 ノイズが存在する状況下でアルゴリズムはどのように動作するか？また、限られたサンプリングで正確な回復が達成できるか？
• RQ5 SVTアルゴリズムは、未知数が約10億に達する問題に対しても、エントリの僅かな割合しか使用しない状況でスケーラブルか？

主な発見

• SVTアルゴリズムは、中程度のデスクトップコンピュータ上でも1,000×1,000行列を1分未塔で回復可能であり、高い計算効率を示している。
• ランクが約10の行列であっても、わずか0.4％のサンプルエントリからも、約10億の未知数を含む大規模問題においても、アルゴリズムが成功して回復可能である。
• ノイズあり環境下では、約200反復でε=1e-4の許容誤差に収束し、相対誤差が0.0769に達する。これはノイズ比0.08に近く、高い精度を示している。
• 反復 X^k のランクは実験的に非減少であり、未知行列 M の真のランク r に素早く到達する。これにより、アルゴリズムの低ランク構造の活用が裏付けられる。
• 1反復あたりの計算コストは低く安定しており、特異値しきい値処理に要する時間が反復に伴い著しく増加しない。
• 理論的収束性が確立されており、既知のラグランジュ乗数法と関連づけられ、堅固な理論的基盤が提供されている。