[論文レビュー] Matrix Completion With Noise

Emmanuel J. Candès, Yaniv Plan|ArXiv.org|Mar 18, 2009

Sparse and Compressive Sensing Techniques参考文献 21被引用数 58

ひとこと要約

この論文は、ノイズのある条件下での行列補完について理論的保証を確立し、核ノルム最小化が、ほぼ最小の数のノイズを含む要素から低ランク行列を正確に回復できることを示している。約 $ nr\log^2 n $ 個のノイズを含むサンプルがあれば、回復誤差はノイズレベルに比例することが保証され、要素がわずかなノイズによって損なわれても成り立つ。

ABSTRACT

On the heels of compressed sensing, a remarkable new field has very recently emerged. This field addresses a broad range of problems of significant practical interest, namely, the recovery of a data matrix from what appears to be incomplete, and perhaps even corrupted, information. In its simplest form, the problem is to recover a matrix from a small sample of its entries, and comes up in many areas of science and engineering including collaborative filtering, machine learning, control, remote sensing, and computer vision to name a few. This paper surveys the novel literature on matrix completion, which shows that under some suitable conditions, one can recover an unknown low-rank matrix from a nearly minimal set of entries by solving a simple convex optimization problem, namely, nuclear-norm minimization subject to data constraints. Further, this paper introduces novel results showing that matrix completion is provably accurate even when the few observed entries are corrupted with a small amount of noise. A typical result is that one can recover an unknown n x n matrix of low rank r from just about nr log^2 n noisy samples with an error which is proportional to the noise level. We present numerical results which complement our quantitative analysis and show that, in practice, nuclear norm minimization accurately fills in the many missing entries of large low-rank matrices from just a few noisy samples. Some analogies between matrix completion and compressed sensing are discussed throughout.

研究の動機と目的

• 少数のノイズを含む要素から低ランク行列を正確に回復できる理論的条件を確立すること。
• ノイズのない状況にとどまらず、観測が汚染されている現実的な状況を扱うように行列補完理論を拡張すること。
• 低ランク行列再構成において、サンプリングレート、ノイズレベル、回復精度の間のトレードオフを定量化すること。
• データが不完全でノイズを含む状況における実用的応用（例：協調フィルタリングやシステム同定）の理論的基盤を提供すること。
• 圧縮センシングの原則をノイズを含む行列補完設定に拡張し、類似性を明らかにすること。

提案手法

• 不完全でノイズを含むデータから低ランク行列を回復するための主な最適化フレームワークとして核ノルム最小化を提案する。
• NP困難なランク最小化問題を近似するため、核ノルムによる凸緩和を用いる。
• ランダムな要素のサンプリング下での誤差バウンドを導出するために、確率的行列理論および最適化における双対性の道具を適用する。
• 観測された要素が、分散 $\sigma^2$ のサブガウスノイズによって損なわれると仮定するノイズ対応回復モデルを導入する。
• 回復誤差をノイズレベルと低ランク行列の自由度の関数としてバウンドするオракル不等式を導出する。
• ラグランジュ双対アプローチを用いて回復性能を分析し、高確率での誤差バウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 凸最適化を用いて、ほぼ最小の数のノイズを含む要素から低ランク行列を正確に回復できるか？
• RQ2 行列補完において、サンプル化された要素数、ノイズレベル、再構成誤差の間の根本的トレードオフは何か？
• RQ3 核ノルム最小化の性能は、真の低ランク部分空間を知っている理想のオラクルと比べてどの程度か？
• RQ4 圧縮センシングの理論は、ノイズを含む状況における行列補完にどの程度まで拡張可能か？
• RQ5 要素がノイズによって損なわれる状況で、低ランク行列の安定的回復を保証するための最小サンプリングレートは何か？

主な発見

• ノイズを伴う行列補完は証明的に正確である：$ n \times n $ のランク $ r $ の行列は、約 $ nr\log^2 n $ 個のノイズを含むサンプルから、ノイズレベルに比例する誤差で回復可能である。
• 高確率で回復誤差は $ C \sigma \sqrt{\text{df}/m} $ でバウンドされ、ここで $ \text{df} = r(2n - r) $、$ m $ は観測要素数、$ \sigma $ はノイズ標準偏差である。
• 数値実験では、実際の回復誤差が $ 1.68 \times \sqrt{\text{df}/m} $ でよく近似され、$ 2.25 \times \sqrt{\text{df}/m} $ を超えることはない。
• 実世界のテスト（$ 366 \times 1472 $ の温度行列）では、30%のサンプリング率で相対Frobenius誤差が $ 16.6\% $ にまで低下し、真の行列に対する最も良いランク2近似よりも優れた性能を示した。
• 理論的誤差バウンドは、数値結果によって検証されており、サンプル数と行列サイズが増加するにつれて予測性能とよく一致する。
• 提案手法は、真のランク2部分空間を知っているオラクル誤差に非常に近く、実際には約1.68の乗法的要因で性能を達成している。