[論文レビュー] Optimal CUR Matrix Decompositions

Christos Boutsidis, David P. Woodruff|arXiv (Cornell University)|May 30, 2014

Sparse and Compressive Sensing Techniques被引用数 39

ひとこと要約

本稿は、入力スパarsity時間かつ決定的である最初のCUR行列分解アルゴリズムを提示する。このアルゴリズムは、$ c = O(k/\varepsilon) $ 列、$ r = O(k/\varepsilon) $ 行、および $ \text{rank}(\mathbf{U}) = k $ を満たし、相対誤差近似を最適に達成する。アルゴリズムは $ \|\mathbf{A} - \mathbf{C}\mathbf{U}\mathbf{R}\|_\mathrm{F}^2 \leq (1+\varepsilon)\|\mathbf{A} - \mathbf{A}_k\|_\mathrm{F}^2 $ を満たし、ランダム化および決定的CUR分解における長年の未解決問題を解決する。

ABSTRACT

The CUR decomposition of an $m imes n$ matrix $A$ finds an $m imes c$ matrix $C$ with a subset of $c < n$ columns of $A,$ together with an $r imes n$ matrix $R$ with a subset of $r < m$ rows of $A,$ as well as a $c imes r$ low-rank matrix $U$ such that the matrix $C U R$ approximates the matrix $A,$ that is, $ || A - CUR ||_F^2 \le (1+ε) || A - A_k||_F^2$, where $||.||_F$ denotes the Frobenius norm and $A_k$ is the best $m imes n$ matrix of rank $k$ constructed via the SVD. We present input-sparsity-time and deterministic algorithms for constructing such a CUR decomposition where $c=O(k/ε)$ and $r=O(k/ε)$ and rank$(U) = k$. Up to constant factors, our algorithms are simultaneously optimal in $c, r,$ and rank$(U)$.

研究の動機と目的

• 最適なCUR行列分解に関する未解決問題を解決すること：$ \mathbf{U} $ の列数、行数、ランクを最小化しつつ、相対誤差近似を達成すること。
• 入力スパarsity時間（$ \mathbf{A} $ の非ゼロ要素数に比例する時間）で実行されるアルゴリズムを設計すること。これにより、大規模な行列近似が効率的に行える。
• 最適なパrameterを用いて $ (1+\varepsilon) $-相対誤差近似を達成する、ランダム化および決定的アルゴリズムを提供すること。
• 下界を証明し、$ c = \Omega(k/\varepsilon) $ および $ r = \Omega(k/\varepsilon) $ が必要であることを示し、定数要因の範囲で最適性を確立すること。

提案手法

• 提案手法は、リーディングスコアと部分空間サンプリングに基づく列と行の選択により、低誤差近似を保証するプロトアルゴリズムフレームワークを用いる。
• ランダム化アルゴリズムでは、$ \ell_2 $-ノルムとリーディングスコアに基づく重要度サンプリングを用いて列と行をサンプリングし、構造を保持する。
• 決定的アルゴリズムは、残差誤差を最小化するための候補列と行に対するグリーディー選択戦略を用いる。これにより、最悪ケース性能保証が得られる。
• この手法の核となるのは、選択された列と行の擬似逆行列として $ \mathbf{U} $ を構築し、$ \|\mathbf{A} - \mathbf{C}\mathbf{U}\mathbf{R}\|_\mathrm{F}^2 $ を最小化することである。
• 理論的解析では、行列摂動理論と直交射影の性質を用いて、残差誤差を最良の低ランク近似 $ \mathbf{A}_k $ に対して境界付ける。
• 対称行列構築法を用いて下界を導出し、$ (1+\varepsilon) $-相対誤差近似には $ \Omega(k/\varepsilon) $ 列と行が必要であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 相対誤差 $ (1+\varepsilon) $ を達成する $ \mathbf{U} $ の列数と行数を最適化できるアルゴリズムは存在するか？ すなわち、理論的下界に一致する $ O(k/\varepsilon) $ 個の列と行を選択できるか？
• RQ2 最良の低ランク近似 $ \mathbf{A}_k $ と同一のランク $ k $ を持つ $ \text{rank}(\mathbf{U}) = k $ のCUR分解が、相対誤差保証を維持しながら構築可能か？
• RQ3 入力スパarsity時間（$ \mathbf{A} $ の非ゼロ要素数に比例する時間）で実行されるCUR分解アルゴリズムは存在するか？ これにより、大規模なスパース行列へのスケーラビリティが可能になるか？
• RQ4 決定的かつ多項式時間で $ (1+\varepsilon) $-誤差を達成するCURアルゴリズムを構築できるか？ これにより、CUR分解における決定的性に関する未解決問題が解決されるか？

主な発見

• 本稿は、入力スパarsity時間で実行され、$ c = O(k/\varepsilon) $ 列と $ r = O(k/\varepsilon) $ 行を用いて $ \|\mathbf{A} - \mathbf{C}\mathbf{U}\mathbf{R}\|_\mathrm{F}^2 \leq (1+\varepsilon)\|\mathbf{A} - \mathbf{A}_k\|_\mathrm{F}^2 $ を満たすランダム化CURアルゴリズムを提示する。
• 多項式時間で実行され、同じ相対誤差境界と最適パrameter数を達成する決定的CURアルゴリズムが提供されている。
• 本稿は、任意の $ (1+\varepsilon) $-相対誤差CUR分解が $ \Omega(k/\varepsilon) $ 列と $ \Omega(k/\varepsilon) $ 行を必要とすることを示す下界を証明し、定数要因の範囲で最適性を確認する。
• $ \mathbf{U} $ のランクが最適に $ k $ であることが証明され、最良の低ランク近似 $ \mathbf{A}_k $ のランクと一致する。相対誤差保証を達成するにはこれが必要不可欠である。
• 下界構築法では、$ k $ 個の小さな行列 $ \mathbf{D} $ のブロック対角行列を用い、$ \Omega(k/\varepsilon) $ より少ない列または行では所望の誤差境界を達成できないことを示している。
• 解析により、$ \varepsilon $-相対誤差近似では列数 $ c $ が $ c = \Omega(k/\varepsilon) $ を満たす必要があり、同様に行数 $ r $ に対しても同様の条件が成り立つことが確認され、提案アルゴリズムの最適性が裏付けられる。