[論文レビュー] Low-rank Matrix Recovery from Errors and Erasures

Yudong Chen, Ali Jalali+2 more|arXiv (Cornell University)|Apr 3, 2011

Sparse and Compressive Sensing Techniques参考文献 12被引用数 16

ひとこと要約

本稿は、核ノルムと$γ$-重み付き$·_1$-ノルム最小化を用いて、欠損および汚染された行列から低ランク行列とスパース誤差行列を同時に回復する凸最適化フレームワークを提案する。ランダムおよび決定的（決定的）な欠損と誤差が同時に存在する状況において、正確な回復のための最初の統一的性能保証を確立し、行列サイズ$n$が増大しても観測エントリ数が$Θ(n\textrm{polylog}(n))$程度で十分であることを示している。

ABSTRACT

This paper considers the recovery of a low-rank matrix from an observed version that simultaneously contains both (a) erasures: most entries are not observed, and (b) errors: values at a constant fraction of (unknown) locations are arbitrarily corrupted. We provide a new unified performance guarantee on when the natural convex relaxation of minimizing rank plus support succeeds in exact recovery. Our result allows for the simultaneous presence of random and deterministic components in both the error and erasure patterns. On the one hand, corollaries obtained by specializing this one single result in different ways recover (up to poly-log factors) all the existing works in matrix completion, and sparse and low-rank matrix recovery. On the other hand, our results also provide the first guarantees for (a) recovery when we observe a vanishing fraction of entries of a corrupted matrix, and (b) deterministic matrix completion.

研究の動機と目的

• エントリの欠損（欠損）と一定割合の任意の汚染（誤差）が同時に存在する状況において、標準的なSVDや行列補完法では対応できない低ランク行列回復の課題に対処すること。
• ランダムおよび決定的パターンの混在する欠損と誤差に対して、核ノルム（低ランク構造）と$\ell_1$-ノルム（誤差のスパarsity）の凸緩和のための統一的性能保証を提供すること。
• 行列サイズ$n$が増大する際、観測エントリの割合がゼロに近づく状況においても、行列回復のための最初の理論的保証を確立すること。これは、協調フィルタリングのような高次元設定への応用を拡張する。
• 低ランク行列補完（誤差なし、欠損のみ）のための最初の決定的保証を導出し、誤差のみの回復に対する従来の最悪ケース境界を改善すること。

提案手法

• 観測エントリ上への射影$\mathcal{P}_\Phi$を用いて、$\mathcal{P}_\Phi(A + B) = \mathcal{P}_\Phi(C)$を満たす凸最適化プログラムを用いる。このプログラムは$\gamma\|A\|_1 + \|B\|_*$を最小化する。
• 行列ランクの凸近似として核ノルム$\|B\|_*$と、誤差行列におけるスパarsityの凸近似として$\ell_1$-ノルム$\|A\|_1$を用いる。
• 正確な回復を検証するため、低ランク行列の接空間$\mathcal{T}$と誤差行列のサポート集合$\Gamma$を用いた双対証明の構築を行う。
• 特異ベクトルと誤差位置の整合性を制御するため、低ランク行列およびスパース行列に対して非一貫性仮定を導入する。
• 双対証明の接空間への射影の作用素ノルムと、誤差サポート上での無限大ノルムのバインドに依存し、$\gamma$に関する条件を導出する。
• 主な技術的イノベーションは、誤差および欠損パターンにおけるランダムおよび決定的成分を統合的に扱う分析であり、1つの定理で従来の結果を回復・拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 観測エントリの割合が$n$の増大とともにゼロに近づく場合でも、欠損と誤差が同時に存在する状況で、凸緩和が正確に低ランク行列を回復できるか？
• RQ2 誤差および欠損パターン（ランダム対決定的）にどのような条件が課されると、核ノルムと$\ell_1$-ノルム最小化により正確な回復が保証されるか？
• RQ3 提案手法は、誤差なし（欠損のみ）の低ランク行列補完について、最初の決定的保証を提供できるか？
• RQ4 誤差割合が一定で、観測確率が減少する場合、手法の性能は行列サイズ$n$とともにどのようにスケーリングされるか？
• RQ5 誤差パターンがブロックに集中している場合でも、敵対的（決定的）な汚染を一定割合まで耐えられるか？

主な発見

• 提案された凸プログラムは、観測エントリ数が$\Theta(n\textrm{polylog}(n))$である限り、高確率で正確な回復を達成する。これは、観測エントリの一定割合が汚染されている場合でも同様に成り立つ。
• 本手法は、行列補完、スパース回復、低ランク回復のすべての先行研究を、対数要因を除いて回復・改善する最初の統一的性能保証を提供する。
• 観測確率がゼロに近づく場合、$\gamma$が$\frac{1}{1-2\alpha}\sqrt{\frac{\mu r}{n_1n_2}} < \gamma < \frac{1-\alpha}{\eta d} - \sqrt{\frac{\mu r}{n_1n_2}}$を満たす場合に正確な回復が保証される。ここで$\alpha$は決定的エントリの割合を制御する。
• 誤差の符号が対称的であり、観測確率が$n$とともにゆっくり減少する限り、ほぼすべての観測エントリが汚染されている場合でも正確な回復が達成可能である。
• 決定的欠損と誤差の下では、本手法は低ランク行列補完のための最初の決定的保証を提供し、従来の最悪ケース境界と比較してオーダーの大きさを改善する。
• シミュレーションにより理論的フェーズ遷移が確認された：成功に必要な観測確率$p_0$は$n$の増大とともに減少し、耐容可能な汚染確率$\tau$は$n$とともに増加する。また、最大の決定的ノイズブロックサイズ$d$は$n$に対して線形に増加する。