[論文レビュー] Coherent Matrix Completion

Srinadh Bhojanapalli, Yudong Chen+2 more|arXiv (Cornell University)|Jun 12, 2013

Sparse and Compressive Sensing Techniques被引用数 10

ひとこと要約

本稿は、行と列のレバレッジスコアに比例する確率でサンプリングするバイアス付きサンプリング戦略を提案し、任意のランク$ r $の$ n \times n $行列を高確率で正確に回復可能であることを示す。この戦略により、$ O(nr \log^2 n) $個のランダムに選ばれたエントリからの正確な回復が可能となる。この方法はほぼ必須であることが示され、レバレッジスコアが事前に不明な場合の実用的拡張も可能である。

ABSTRACT

Matrix completion, i.e., the exact and provable recovery of a low-rank matrix from a small subset of its elements, is currently only known to be possible if the matrix satisfies a restrictive structural constraint---known as {\em incoherence}---on its row and column spaces. In these cases, the subset of elements is sampled uniformly at random. In this paper, we show that {\em any} rank-$ r $ $ n$-by-$ n $ matrix can be exactly recovered from as few as $O(nr \log^2 n)$ randomly chosen elements, provided this random choice is made according to a {\em specific biased distribution}: the probability of any element being sampled should be proportional to the sum of the leverage scores of the corresponding row, and column. Perhaps equally important, we show that this specific form of sampling is nearly necessary, in a natural precise sense; this implies that other perhaps more intuitive sampling schemes fail. We further establish three ways to use the above result for the setting when leverage scores are not known extit{a priori}: (a) a sampling strategy for the case when only one of the row or column spaces are incoherent, (b) a two-phase sampling procedure for general matrices that first samples to estimate leverage scores followed by sampling for exact recovery, and (c) an analysis showing the advantages of weighted nuclear/trace-norm minimization over the vanilla un-weighted formulation for the case of non-uniform sampling.

研究の動機と目的

• 従来の行列補完における制限的な非一様性仮定を克服するため、任意の低ランク行列に対して有効なサンプリング方式を導入すること。
• レバレッジスコアに比例するサンプリングが正確な回復のためにほぼ必須であることを確立し、一様または直感的なサンプリング戦略の限界を示すこと。
• レバレッジスコアが事前に不明な状況における実用的戦略の開発、特に片側非一様性と二段階サンプリング手順を含むこと。
• 非一様サンプリング下で重み付き核ノルム最小化が未重み付き形式を上回ることを示すこと。

提案手法

• エントリの選択確率がその行と列のレバレッジスコアの和に比例するようなサンプリング分布を提案する。
• このバイアス付きサンプリング方式を用いて、高確率で$ O(nr \log^2 n) $エントリで正確な低ランク行列回復が可能であることを証明する。
• 非常にタイトな下界を確立し、このサンプリング戦略が正確な回復において情報理論的にほぼ必須であることを示す。
• 二段階サンプリング手順を導入：まずレバレッジスコアを推定するためのサンプリングを行い、その後導出された分布に従って標的サンプリングを行う。
• 非一様サンプリング下での重み付き核ノルム最小化の利点を分析し、標準的な核ノルム最小化と比較して回復性能が向上することを示す。

実験結果

リサーチクエスチョン

• RQ1 制限的な非一様性条件を必要とせず、任意の低ランク行列に対する行列補完が可能か？
• RQ2 正確な回復のためには、レバレッジスコアに比例するサンプリングが必要またはほぼ必須か？
• RQ3 レバレッジスコア推定を二段階サンプリング枠組みに統合する方法は？
• RQ4 非一様サンプリング下で重み付き核ノルム最小化は未重み付き最小化を上回るか？

主な発見

• レバレッジスコアに比例する分布に従ってサンプリングされた場合、任意のランク$ r $の$ n \times n $行列は$ O(nr \log^2 n) $エントリから正確に回復可能である。
• 提案されたサンプリング戦略は正確な回復においてほぼ必須である。これは、他のサンプリング戦略が情報理論的に明確に失敗することを意味する。
• 行または列の一方にのみ非一様性を持つ行列に対しては、修正されたサンプリング戦略により$ O(nr \log^2 n) $サンプルで正確な回復が可能である。
• 初期段階でレバレッジスコアを推定し、その後標的サンプリングを行う二段階サンプリング手順により、レバレッジスコアを事前に知らない一般行列に対しても正確な回復が可能である。
• 非一様サンプリング下では重み付き核ノルム最小化が未重み付き最小化を著しく上回り、特に高レバレッジエントリに偏ったサンプリングでは顕著な性能向上が得られる。