[論文レビュー] On the Power of Adaptivity in Matrix Completion and Approximation

Akshay Krishnamurthy, Aarti Singh|arXiv (Cornell University)|Jul 14, 2014

Sparse and Compressive Sensing Techniques参考文献 38被引用数 27

ひとこと要約

本稿では、低ランク行列補完および近似のための適応的サンプリングアルゴリズムを提案する。この手法は、行空間の非一様性仮定を不要にし、$ O(nr\mu_0\log^2 r) $ 個のサンプルで $ n \times n $ のランク-$ r $ 行列を正確に回復可能である。この方法は情報量の多い列を適応的に選択し、残りの列をその張る空間に射影することで、被動的手法よりも優れたサンプル複雑性を達成する。

ABSTRACT

We consider the related tasks of matrix completion and matrix approximation from missing data and propose adaptive sampling procedures for both problems. We show that adaptive sampling allows one to eliminate standard incoherence assumptions on the matrix row space that are necessary for passive sampling procedures. For exact recovery of a low-rank matrix, our algorithm judiciously selects a few columns to observe in full and, with few additional measurements, projects the remaining columns onto their span. This algorithm exactly recovers an $n imes n$ rank $r$ matrix using $O(nrμ_0 \log^2(r))$ observations, where $μ_0$ is a coherence parameter on the column space of the matrix. In addition to completely eliminating any row space assumptions that have pervaded the literature, this algorithm enjoys a better sample complexity than any existing matrix completion algorithm. To certify that this improvement is due to adaptive sampling, we establish that row space coherence is necessary for passive sampling algorithms to achieve non-trivial sample complexity bounds. For constructing a low-rank approximation to a high-rank input matrix, we propose a simple algorithm that thresholds the singular values of a zero-filled version of the input matrix. The algorithm computes an approximation that is nearly as good as the best rank-$r$ approximation using $O(nrμ\log^2(n))$ samples, where $μ$ is a slightly different coherence parameter on the matrix columns. Again we eliminate assumptions on the row space.

研究の動機と目的

• 行列の行空間に対する強い非一様性仮定を必要とする被動的行列補完および近似アルゴリズムの制限を解決すること。
• 測定を情報量の多い列に集中させることで、適応的サンプリングが被動的手法よりも優れたサンプル複雑性を達成できることを示すこと。
• 行空間の非一様性仮定なしに、正確な行列回復および低ランク近似の理論的保証を提供すること。
• 行空間の非一様性が欠落している場合、被動的アルゴリズムが $ \Omega(n^2) $ 個のサンプルを必要とすることを示す下界を確立し、適応的サンプリングの必要性を証明すること。
• ゼロ埋めされた行列の特異値をしきい値処理するシンプルでスケーラブルなアルゴリズムを、行列近似のために開発すること。

提案手法

• 行列補完アルゴリズムは、いくつかの列を完全に観測し、残りのすべての列をその張る空間に射影することで、正確な回復を可能にする。
• 行列近似のためには、ゼロ埋めされた行列の特異値分解（SVD）を計算し、特異値をしきい値処理して低ランク近似を生成する。
• 適応的サンプリングは、エネルギーが高く、あるいは新しい方向情報を持つ列に注目することで、より少ないサンプルで推定精度を向上させる。
• サンプル複雑性を制限するために、列空間の非一様性パラメータ $ \mu_0 $ と $ \mu $ を用い、行空間の非一様性に依存しないようにする。
• 理論的分析は、集中不等式と特異値ノルムの境界に依存し、近似誤差が最良のランク-$ r $ 近似の乗法的要因内にあることを示す。
• 二段階のサンプリング戦略を用いる：まずサブサンプリングにより列ノルムを推定し、次に推定された重要度に基づいて適応的にサンプリングする。

実験結果

リサーチクエスチョン

• RQ1 適応的サンプリングは、行列補完および近似において、行空間の非一様性仮定を排除できるか？
• RQ2 適応的サンプリングを用いた場合、正確な行列回復に必要な最小サンプル数は何か？ また、被動的手法と比較してどうなるか？
• RQ3 行空間の非一様性が欠落している場合、被動的アルゴリズムのサンプル複雑性に根本的な下界はあるか？
• RQ4 高ランク行列において、適応的サンプリングはどのようにサンプル効率を向上させるか？
• RQ5 ゼロ埋めされた行列に対する単純なしきい値処理ベースのアルゴリズムは、最小限のサンプルで競争力のある近似品質を達成できるか？

主な発見

• 提案された行列補完アルゴリズムは、$ O(nr\mu_0\log^2 r) $ 個のサンプルで $ n \times n $ のランク-$ r $ 行列を正確に回復可能であり、$ \mu_0 $ は列空間の非一様性パラメータである。
• このアルゴリズムは、既存のすべての行列補完手法よりも優れたサンプル複雑性を達成し、行列の行空間に関するあらゆる仮定を排除する。
• 下界の結果により、行空間の非一様性が欠落している場合、被動的サンプリングは $ \Omega(n^2) $ 個のサンプルを必要とすることが示され、適応的サンプリングの必要性が証明された。
• 行列近似において、アルゴリズムは $ O(nr\mu\log^2 n) $ 個のサンプルで、最良のランク-$ r $ 近似と競合する近似誤差を達成する。
• 外れ値や人気アイテムを含む非一様なエネルギー分布において、被動的サンプリングよりも顕著に優れた性能を示す。
• 理論的分析により、適応的サンプリングが最大列ノルムに依存するのを軽減し、歪んだデータ分布においてもより高いロバストネスを達成することが確認された。