[論文レビュー] High-Rank Matrix Completion and Subspace Clustering with Missing Data

Brian Eriksson, Laura Balzano+1 more|arXiv (Cornell University)|Dec 23, 2011

Sparse and Compressive Sensing Techniques参考文献 16被引用数 55

ひとこと要約

本稿では、列が低ランク部分空間の和に属する行列のための新しい高ランク行列補完法を提案する。この手法により、スパースで一様なランダム観測から列を正確に回復できる。弱い非一様性および幾何的仮定の下で、各列は少なくとも $ C r N /\log^2 n $ 個の観測値があれば、高い確率で完全に回復可能であり、特に複数の部分空間がある場合に全行列ランクが高くなると、標準的な低ランク補完法よりも顕著に改善される。

ABSTRACT

This paper considers the problem of completing a matrix with many missing entries under the assumption that the columns of the matrix belong to a union of multiple low-rank subspaces. This generalizes the standard low-rank matrix completion problem to situations in which the matrix rank can be quite high or even full rank. Since the columns belong to a union of subspaces, this problem may also be viewed as a missing-data version of the subspace clustering problem. Let X be an n x N matrix whose (complete) columns lie in a union of at most k subspaces, each of rank <= r < n, and assume N >> kn. The main result of the paper shows that under mild assumptions each column of X can be perfectly recovered with high probability from an incomplete version so long as at least CrNlog^2(n) entries of X are observed uniformly at random, with C>1 a constant depending on the usual incoherence conditions, the geometrical arrangement of subspaces, and the distribution of columns over the subspaces. The result is illustrated with numerical experiments and an application to Internet distance matrix completion and topology identification.

研究の動機と目的

• 行列の全ランクが大きく（またはフルランクであるが）列が低ランク部分空間の和に属する高ランク設定における行列補完を扱う。
• ランクが $ n $ に近づくとほぼすべての要素が必要となる標準的な低ランク行列補完の限界を、部分空間構造を活用することで克服する。
• 全行列の回復ではなく各列ごとの回復に注目することで、大規模行列（例えば、$ N \gg n $）の実用的補完を可能にする。
• スパースで一様なランダムサンプリングの下で、正確な各列回復の理論的保証を提供する。これは行列がフルランクであっても有効である。
• インターネットトポロジー推定のための受動的モニタリングからの欠損データを含む、実世界の問題への適用を可能にする。

提案手法

• 行列 $ \mathbf{X} \in \mathbb{R}^{n \times N} $ を、高々 $ k $ 個の部分空間に属し、それぞれのランクが $ \leq r < n $ であるものとモデル化し、$ N \gg kn $ とする。
• 各列を、観測された要素の局所的近傍上で低ランク近似問題を解くことで効率的に回復する計算効率の高いアルゴリズムを提案する。
• サンプリング条件を用いる：各列には少なくとも $ C r N \log^2 n $ 個の観測値が必要であり、$ C > 1 $ は非一様性、部分空間の幾何構造、および列の分布に依存する。
• 部分空間構造を活用することで、標準的な低ランク補完法が要求する $ rN \log^2 N $ のサンプリング要件を回避し、代わりに $ rN \log^2 n $ を達成する。
• 実世界のインターネット距離行列補完にこの手法を適用し、ネットワークセグメントが低ランク部分空間に対応する（例：1セグメントあたりランク2）。
• 未知の場合の部分空間数 $ k $ の推定にヒューリスティクスを用い、$ N = 22,550 $ 個のIPアドレスと $ n = 100 $ 個のモニタを用いた実際の遅延データに適用。

実験結果

リサーチクエスチョン

• RQ1 全行列ランクが $ n $ に近い場合でも、列が低ランク部分空間の和に属する高ランク行列に対して、正確な行列補完が可能か？
• RQ2 一様なランダムサンプリングの下で、各列の高確率回復を保証するための最小サンプリングレートは何か？
• RQ3 高ランクで部分空間構造を持つデータにおいて、標準的な低ランク行列補完法と比較して、提案手法のサンプリング効率および精度はどのように異なるか？
• RQ4 実世界のインターネット距離行列において、部分空間構造が背景に存在する場合、欠損値を高精度で回復できるか？
• RQ5 部分空間数 $ k $ が未知またはデータから推定される場合でも、この手法は有効に機能するか？

主な発見

• 各列は、$ C > 1 $ が非一様性、部分空間幾何、列分布に依存する条件下で、少なくとも $ C r N \log^2 n $ 個の観測値があれば、高い確率で完全に回復可能である。
• シミュレーションでは、各列あたり約50個の観測値で正確な回復が達成されたが、標準的な低ランク補完法ではランクが高いために、各列あたり約230個の観測値が必要であった（$ rk = 50 $）。
• $ k = 12 $ 個のセグメント、$ n = 75 $ 個のモニタ、$ N = 2700 $ 個のIPアドレスを持つ合成ネットワークでは、40%の観測率で、欠損したホップカウントの70%以上を正確に補完した。
• 同様の条件下で、標準的な低ランク行列補完法はほとんど正確な補完を達成できず、部分空間構造を活用する利点が顕著に示された。
• 実世界の遅延データ（$ n = 100 $ 個のモニタ、$ N = 22,550 $ 個のIPアドレス）において、40%の観測率で、高ランク手法が標準的な低ランク補完法を著しく上回る推定精度を示した。
• 受動的かつ不完全なホップカウント測定から、この手法は実際のネットワークトポロジーを正確に回復でき、インターネットトポロジー推定における実用的価値を示した。