[論文レビュー] Relative-Error CUR Matrix Decompositions

Petros Drineas, Michael W. Mahoney+1 more|ArXiv.org|Aug 27, 2007

Matrix Theory and Algorithms参考文献 39被引用数 8

ひとこと要約

本稿では、行列 $ A $ が実際に $ A $ の列と行を用いて $ CUR $ として近似される相対誤差を伴う多項式時間アルゴリズムを初めて導入する。$ U $ は一般化逆行列を用いて計算される。この手法により、高確率で $ \|A - CUR\|_F \leq (1+\epsilon)\|A - A_k\|_F $ を満たし、$ O(k\log k) $ 列と行を用いる。これは、上位の特異ベクトルに基づく新しい「部分空間サンプリング」技術を活用している。

ABSTRACT

Many data analysis applications deal with large matrices and involve approximating the matrix using a small number of ``components.'' Typically, these components are linear combinations of the rows and columns of the matrix, and are thus difficult to interpret in terms of the original features of the input data. In this paper, we propose and study matrix approximations that are explicitly expressed in terms of a small number of columns and/or rows of the data matrix, and thereby more amenable to interpretation in terms of the original data. Our main algorithmic results are two randomized algorithms which take as input an $m imes n$ matrix $A$ and a rank parameter $k$. In our first algorithm, $C$ is chosen, and we let $A'=CC^+A$, where $C^+$ is the Moore-Penrose generalized inverse of $C$. In our second algorithm $C$, $U$, $R$ are chosen, and we let $A'=CUR$. ($C$ and $R$ are matrices that consist of actual columns and rows, respectively, of $A$, and $U$ is a generalized inverse of their intersection.) For each algorithm, we show that with probability at least $1-δ$: $$ ||A-A'||_F \leq (1+ε) ||A-A_k||_F, $$ where $A_k$ is the ``best'' rank-$k$ approximation provided by truncating the singular value decomposition (SVD) of $A$. The number of columns of $C$ and rows of $R$ is a low-degree polynomial in $k$, $1/ε$, and $\log(1/δ)$. Our two algorithms are the first polynomial time algorithms for such low-rank matrix approximations that come with relative-error guarantees; previously, in some cases, it was not even known whether such matrix decompositions exist. Both of our algorithms are simple, they take time of the order needed to approximately compute the top $k$ singular vectors of $A$, and they use a novel, intuitive sampling method called ``subspace sampling.''

研究の動機と目的

• 低ランク行列近似における解釈可能性の問題を解決するため、抽象的な SVD 基底ベクトルの代わりに実際のデータ列と行を用いる。
• 最良の低ランク SVD 近似と同等の相対誤差保証を達成する、効率的で多項式時間のアルゴリズムを開発する。
• 近似誤差が最適なランク-$ k $ SVD 截断に対して相対的に有界であるような CUR 分解についての理論的保証を提供する。
• 近接度と近似精度を向上させる新しいサンプリング手法「部分空間サンプリング」を導入する。
• 相対誤差 CUR 分解の存在と効率的な計算可能性を証明することで、理論的ギャップを埋める。一部の状況では、これまでは未知であった。

提案手法

• 行列 $ A $ の列に対して非一様サンプリング確率を用いる。サンプリング確率は、$ A $ の上位 $ k $ 個の右特異ベクトルの行の $ \ell^2 $ ノルムの二乗に比例する。
• 部分空間サンプリング確率に従い、$ c = O(k\log k) $ 個の $ A $ の列を、正確にまたは期待値として選択して行列 $ C $ を構築する。
• 对于 $ CUR $ 分解において、選択された列と行の交差部分の Moore-Penrose 逆行列を $ U $ として計算し、$ A' = CUR $ が $ A $ を近似することを保証する。
• 列のみの近似において $ C $ の一般化逆行列を $ A' = C^+ A $ の形で用い、相対誤差の境界を保証する。
• 2段階のアルゴリズムを採用する：まず部分空間確率に従い列をサンプリングし、次に $ C^+ A $ または $ CUR $ を用いて低ランク近似を計算する。
• Johnson-Lindenstrauss の性質とランダム化 SVD 技術を活用し、$ A $ の上位 $ k $ 個の特異ベクトルを計算するのと同等の時間でアルゴリズムが実行されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 入力行列からの実際の列と行のみを用いて、相対誤差を伴う低ランク行列近似を達成できるか？
• RQ2 このような CUR 分解に対して、証明可能な相対誤差保証を備えた多項式時間アルゴリズムを設計できるか？
• RQ3 選択された列と行が Frobenius 範数の意味で近似的に最適な近似をもたらすようにするためのサンプリング戦略は何か？
• RQ4 相対誤差の境界を維持したまま、サンプリング複雑度を $ O(k\log k) $ にまで低減できるか？
• RQ5 得られた近似が、元のデータ特徴の観点からも正確かつ解釈可能であるように、分解を構築できるか？

主な発見

• 提案されたアルゴリズムは相対誤差近似保証を達成する：高確率で $ \|A - CUR\|_F \leq (1+\epsilon)\|A - A_k\|_F $ が成り立つ。
• 行列 $ C $ の列数および $ R $ の行数は $ O(k\log k) $ であり、これは従来の $ O(k^2 / \epsilon^2) $ の境界に比べ顕著な改善である。
• アルゴリズムは $ A $ の上位 $ k $ 個の特異ベクトルを計算するのと同等の時間で実行可能であり、大規模行列に対しても効率的である。
• 上位特異ベクトルの行の $ \ell^2 $ ノルムを用いる部分空間サンプリング手法により、部分空間と大きさの情報のデコンボリューションが可能となり、より緊密な境界が得られる。
• 本手法は、列ベース（$ C^+A $）および完全な $ CUR $ 分解の両方に対して、相対誤差保証付きの多項式時間アルゴリズムを提供する最初のものである。
• 結果は、列のみの $ C^+A $ と完全な $ CUR $ 分解の両方へ一般化可能であり、両者とも高確率での相対誤差境界を有する。