[論文レビュー] Fixed Point and Bregman Iterative Methods for Matrix Rank Minimization

Shiqian Ma, Donald Goldfarb+1 more|ArXiv.org|May 11, 2009

Sparse and Compressive Sensing Techniques参考文献 12被引用数 55

ひとこと要約

本稿では、核ノルム緩和を用いた大規模行列ランク最小化のための高速で頑健なアルゴリズムであるFPCA（固定点続行法による近似特異値分解）を提案する。固定点反復と効率的な特異値分解を組み合わせることで、高い復元精度と高速性を達成し、20%のサンプリング条件下で1000×1000のランク50行列を約3分で解く。これは、従来の半定値計画法ソルバ（SDPT3）を上回る速度と復元性を示している。

ABSTRACT

The linearly constrained matrix rank minimization problem is widely applicable in many fields such as control, signal processing and system identification. The tightest convex relaxation of this problem is the linearly constrained nuclear norm minimization. Although the latter can be cast as a semidefinite programming problem, such an approach is computationally expensive to solve when the matrices are large. In this paper, we propose fixed point and Bregman iterative algorithms for solving the nuclear norm minimization problem and prove convergence of the first of these algorithms. By using a homotopy approach together with an approximate singular value decomposition procedure, we get a very fast, robust and powerful algorithm, which we call FPCA (Fixed Point Continuation with Approximate SVD), that can solve very large matrix rank minimization problems. Our numerical results on randomly generated and real matrix completion problems demonstrate that this algorithm is much faster and provides much better recoverability than semidefinite programming solvers such as SDPT3. For example, our algorithm can recover 1000 x 1000 matrices of rank 50 with a relative error of 1e-5 in about 3 minutes by sampling only 20 percent of the elements. We know of no other method that achieves as good recoverability. Numerical experiments on online recommendation, DNA microarray data set and image inpainting problems demonstrate the effectiveness of our algorithms.

研究の動機と目的

• 大規模行列ランク最小化問題における半定値計画法（SDP）ソルバの計算非効率性を解消すること。
• 行列ランクの凸近似として核ノルムを活用する効率的な反復アルゴリズムの開発。
• 不完全またはノイズの混入した観測からも低ランク行列を高精度に復元可能にする仕組みの構築、特に行列補完タスクに焦点を当てる。
• 協調フィルタリング、画像の穴埋め、DNAマイクロアレイ解析などの実世界応用に適したSDPベース手法のスケーラブルな代替手段の提供。

提案手法

• 核ノルム最小化問題の最適性条件に基づく固定点反復スキームを提案し、特異値しきい値処理から導かれる行列スリキンク操作子を用いる。
• 核ノルム最小化問題における正則化パラメータを適応的に調整するためのホモトピー続行戦略を導入する。
• スリキンクステップの計算コストを著しく削減するために、近似特異値分解手順を統合する。
• 固定点続行法と近似特異値分解を統合したFPCAアルゴリズムを構築し、大規模行列へのスケーラビリティを実現する。
• ブレグマン距離を用いて双対定式化を導出し、収束解析を支援するとともに数値的安定性を向上させる。
• アルゴリズムを行列補完、オンライン推薦、画像の穴埋め、DNAマイクロアレイデータに適用し、頑健性と効率性を実証する。

実験結果

リサーチクエスチョン

• RQ1 固定点反復およびブレグマン反復法は、従来の半定値計画法に比べ、行列ランク最小化においてより高速な収束と優れた復元性能を達成できるか？
• RQ2 大規模問題において、計算コストを著しく削減しつつも解の精度を維持するための近似特異値分解の有効性はどの程度か？
• RQ3 FPCAアルゴリズムは、特に20%のエントリしか観測されていない状況下でも、低ランク行列をどの程度正確に復元できるか？
• RQ4 ホモトピー続行戦略は、多様な実世界データセットにおいて固定点法のロバスト性と収束性を向上させるか？
• RQ5 本稿で提案するアルゴリズムは、大規模行列補完タスクにおいて、既存のSDPソルバ（SDPT3）を速度と復元精度の両面で上回るか？

主な発見

• 20%のエントリがサンプリングされた条件下で、1000×1000のランク50行列を約3分で復元し、相対誤差が10⁻⁵に達する。
• 特に不完全なデータを伴う低ランク行列補完タスクにおいて、SDPT3に比べて著しく優れた復元性能を示す。
• オンライン推薦システム、DNAマイクロアレイデータの補完、画像の穴埋めなど、実世界の問題において優れた性能を発揮する。
• 固定点反復法は弱い条件下でもグローバル収束を示し、スリキンク操作子の非拡大性を用いた理論的収束保証が確立されている。
• ホモトピー続行法と近似特異値分解の統合により、FPCAは解の精度を保持したまま大規模行列へのスケーラビリティを実現した。
• FPCAは速度と復元品質の両面でSDPT3を上回り、本稿の発表当時、大規模行列ランク最小化分野で最も高速かつ強力な手法であると判明した。