[論文レビュー] Universal Matrix Completion

Srinadh Bhojanapalli, Prateek Jain|arXiv (Cornell University)|Feb 10, 2014

Sparse and Compressive Sensing Techniques参考文献 24被引用数 72

ひとこと要約

本稿では、観測インデックス集合が大きなスペクトルギャップを有する二部グラフを形成する場合、核ノルム最小化を用いて低ランク行列の正確な回復を保証する普遍的な行列補完フレームワークを導入する。主な貢献は、より強い非一様性条件のもとで、標準的な $O(nr\log n)$ のサンプル複雑性を上回る $O(nr^2)$ の一様抽出エントリが正確な回復に十分であることを示したことであり、回復可能性の鍵となる要因としてスペクトルギャップを同定したことにある。

ABSTRACT

The problem of low-rank matrix completion has recently generated a lot of interest leading to several results that offer exact solutions to the problem. However, in order to do so, these methods make assumptions that can be quite restrictive in practice. More specifically, the methods assume that: a) the observed indices are sampled uniformly at random, and b) for every new matrix, the observed indices are sampled afresh. In this work, we address these issues by providing a universal recovery guarantee for matrix completion that works for a variety of sampling schemes. In particular, we show that if the set of sampled indices come from the edges of a bipartite graph with large spectral gap (i.e. gap between the first and the second singular value), then the nuclear norm minimization based method exactly recovers all low-rank matrices that satisfy certain incoherence properties. Moreover, we also show that under certain stricter incoherence conditions, $O(nr^2)$ uniformly sampled entries are enough to recover any rank-$r$ $n imes n$ matrix, in contrast to the $O(nr\log n)$ sample complexity required by other matrix completion algorithms as well as existing analyses of the nuclear norm method.

研究の動機と目的

• 一様i.i.d.抽出に限らない多様な抽出スキームに適用可能な、低ランク行列補完の普遍的回復保証を構築すること。
• 観測インデックスから構築される二部グラフのスペクトルギャップが、行列回復可能性を支配する主要な構造的性質であることを同定すること。
• 標準的な $O(nr\log n)$ のサンプル複雑性を、より強い非一様性仮定のもとで $O(nr^2)$ に低減すること。
• 固定されたインデックス集合 $\Omega$ が、関連するグラフ $\mathcal{G}$ に大きなスペクトルギャップを有する場合、任意の低ランク行列 $M$ を普遍的に回復できることを示すこと。
• 標準的な非一様性条件だけでは普遍的回復が不十分であり、より強い非一様性条件が必要であることを示すこと。

提案手法

• 本手法は、観測インデックス集合 $\Omega$ を、$(i,j) \in \Omega$ の場合に $G_{ij} = 1$ となるバイアドジェセンシ行列 $G$ を持つ二部グラフ $\mathcal{G}$ としてモデル化する。
• 回復が保証されるのは、$\mathcal{G}$ が大きなスペクトルギャップ（$G$ の最大特異値と第二最大特異値の差）を有する場合に限る。
• 本稿では、$P_\Omega(M)$（$M$ の観測エントリへの射影）から $M$ を核ノルム最小化により回復する。
• 正確な回復を検証するための双対証明 $Y$ をゴルフィングスキームを用いて構築し、反復更新 $W_{k+1} = W_k - \frac{n}{d}\mathcal{P}_T P_\Omega W_k$ を行う。
• この構築は、接空間 $T$ および直交補空間 $T^\perp$ における誤差のバインドに依存し、$M$ の特異ベクトルに対する非一様性バインドを用いる。
• 理論的保証は、$\|W_k\|_F$ の減衰および $\mathcal{P}_{T^\perp}(Y)$ のノルムの解析を通じて得られ、与えられた仮定のもとでその値が $1/2$ 未満であることを示している。

実験結果

リサーチクエスチョン

• RQ1 固定されたインデックス集合 $\Omega$ を用いて、回復対象の行列に依存しない普遍的な行列補完が可能か？
• RQ2 一様i.i.d.抽出を超える多様な抽出スキームにおいて、サンプリングパターン $\Omega$ のどの構造的性質が低ランク行列の回復可能性を支配するか？
• RQ3 インデックス集合 $\Omega$ に関連する二部グラフ $\mathcal{G}$ にスペクトルギャップ条件が成り立つ場合、核ノルム最小化により正確な回復が可能か？
• RQ4 行列 $M$ に対してより強い非一様性仮定を課した場合、サンプル複雑性を $O(nr\log n)$ から $O(nr^2)$ に低減できるか？
• RQ5 標準的な非一様性条件は、普遍的回復に十分か、それともより強いバージョンが必要か？

主な発見

• サンプリングパターン $\Omega$ が十分に大きなスペクトルギャップを有する二部グラフ $\mathcal{G}$ に対応する場合、核ノルム最小化により任意のランク-$r$ の $n \times n$ 行列の正確な回復が保証される。
• $d$-正則な二部グラフで $\sigma_2(G) = O(\sqrt{d})$（つまり拡散器）である場合、$O(nr^2)$ の一様抽出エントリで正確な回復が達成可能である。
• $O(nr^2)$ のサンプル複雑性は、標準的な $O(nr\log n)$ の境界を改善しており、特にランクが定数の行列において顕著である。
• $\mathcal{G}$ のスペクトルギャップが回復可能性の主因であり、実験的結果ではサンプル数にかかわらず、成功確率がスペクトルギャップに線形に増加することが示された。
• 標準的な非一様性条件だけでは普遍的回復が不十分であり、$O(nr^2)$ のサンプル複雑性を達成するにはより強い非一様性条件（$A2$ と呼ばれる）が必要である。
• 理論的解析により、ゴルフィングスキームによる双対証明の構築が、$d \geq \sigma_2(G) \cdot r$ かつ非一様性条件が満たされる場合に正確な回復を保証することが確認された。