[論文レビュー] Matrix Completion from Noisy Entries

Raghunandan H. Keshavan, Andrea Montanari+1 more|arXiv (Cornell University)|Jun 11, 2009

Sparse and Compressive Sensing Techniques参考文献 25被引用数 206

ひとこと要約

この論文は、スペクトル法と多様体最適化を組み合わせた低複雑性の行列補完アルゴリズムであるOptSpaceを、ノイズのあるランダムにサンプリングされた要素から低ランク行列を再構築する目的で分析している。確率的および最悪ケースのノイズモデルの両方において、順序的に最適な性能保証を確立し、観測された要素数が $ O(n r ext{polylog}(n)) $ のとき、再構築誤差が高確率で $ O(\rho \rho_{ ext{min}}^{-2} \rho_{ ext{max}}^2 \mu ext{polylog}(n)) $ に比例することを示している。これは、主要な状況において情報理論的限界と一致する。

ABSTRACT

Given a matrix M of low-rank, we consider the problem of reconstructing it from noisy observations of a small, random subset of its entries. The problem arises in a variety of applications, from collaborative filtering (the `Netflix problem') to structure-from-motion and positioning. We study a low complexity algorithm introduced by Keshavan et al.(2009), based on a combination of spectral techniques and manifold optimization, that we call here OptSpace. We prove performance guarantees that are order-optimal in a number of circumstances.

研究の動機と目的

• ノイズによって汚される要素を含む行列補完において、OptSpaceアルゴリズムのロバスト性を分析すること。
• 確率的および最悪ケースのノイズモデルの両方において、OptSpaceの性能保証を確立すること。
• 不完全でノイズのある観測から低ランク行列を再構築する際、アルゴリズムが順序的に最適なサンプル複雑性を達成することを証明すること。
• 再構築誤差がノイズレベル、ランク、行列の条件数に対して最適にスケーリングされることを示すこと。
• 共同フィルタリングや構造からモーションの復元といった実用的応用分野における、低複雑性と高い精度を示す理論的裏付けを提供すること。

提案手法

• アルゴリズムは2段階のアプローチを採用する：観測行列 $ \tilde{N}^E $ の切り詰められた特異値分解（SVD）によるスペクトル初期化、その後に直交行列 $ X, Y $ 上での多様体最適化を実行する。
• 非凸コスト関数 $ F(X,Y) = \min_S \sum_{(i,j)\in E} (N_{ij} - (XSY^T)_{ij})^2 $ を最小化する。制約条件 $ X^T X = mI $, $ Y^T Y = nI $ を満たし、正規化を保証する。
• 行列 $ N^E $ の過剰に頻出する行および列を除外するためにトリミングが適用され、バイアスの低減とスペクトル推定の改善が図られる。
• 勾配降下法によるStiefel多様体上での収束性と安定性を向上させるために、コスト関数が $ \widetilde{F}(X,Y) $ に変更される。
• 理論的分析では、ガウス分布および有界ノイズに対する集中不等式を用い、確率的ノイズ下で $ \mathbb{E}[\|Z^E\|_2] \leq C\sigma\sqrt{\epsilon\sqrt{\alpha}\log n} $ を満たすように、スペクトルノルム $ \|Z^E\|_2 $ をバインドする。
• 最悪ケースのノイズでは、$ \|\widetilde{Z}^E\|_2 \leq Z_{\text{max}} \|\widetilde{D}^E\|_2 $ というバインドが用いられ、$ \|\widetilde{D}^E\|_2 \leq (2\epsilon)^k $ が成り立ち、有界次数の二部グラフ構造を活用する。

実験結果

リサーチクエスチョン

• RQ1 ノイズありで不完全な観測下で、OptSpaceは順序的に最適なサンプル複雑性を達成できるか？
• RQ2 OptSpaceの再構築誤差は、ノイズ分散、行列ランク、および条件数に対してどのようにスケーリングされるか？
• RQ3 トリミングと正規化の影響は、ノイズありの行列補完における収束性と精度にどのように現れるか？
• RQ4 ノイズありの状況下で、OptSpaceの理論的保証は、核ノルム最小化のような凸緩和法と比較してどうなるか？
• RQ5 OptSpaceはどのような条件下で、情報理論的限界と一致する誤差バインドを持つ高確率的回復を達成するか？

主な発見

• 確率的ノイズ下では、ノイズ行列の期待スペクトルノルムが $ \mathbb{E}[\|Z^E\|_2] \leq C\sigma\sqrt{\epsilon\sqrt{\alpha}\log n} $ を満たし、高確率で成り立つ。
• 観測数 $ |E| \geq n\log n $ のとき、バインドは $ \mathbb{E}[\|Z^E\|_2] \leq C\sigma\sqrt{\epsilon\sqrt{\alpha}} $ に厳しくなる。サンプルサイズが大きくなるほど改善される。
• アルゴリズムは順序的に最適なサンプル複雑性を達成する：$ O(nr \max\{r, \log n\}) $ 個の要素が十分であり、情報理論的下界と一致する。
• コスト関数の勾配は、高確率で $ \|\text{grad}\,\widetilde{F}_0(\mathbf{x})\| \geq C n\epsilon^2 \Sigma_{\text{min}}^4 d(\mathbf{x}, \mathbf{u})^2 $ を満たし、真の解の近傍での高速収束を保証する。
• アルゴリズムの性能は、サブガウスおよび最悪ケースの有界ノイズの両方に対してロバストであり、誤差バインドは $ O(\sigma \sqrt{\epsilon\sqrt{\alpha}}) $ に比例する。
• 理論的保証は主要な状況において順序的に最適であり、CandèsとPlan（2009年）の先行研究に比べ、ノイズ依存性およびサンプル複雑性の面で改善されている。