[論文レビュー] Dimensionality Reduction of Massive Sparse Datasets Using Coresets

Dan Feldman, Mikhail Volkov+1 more|arXiv (Cornell University)|Mar 5, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用数 34

ひとこと要約

本稿では、スパースな大規模データセットにおける次元削減のための決定的コアセット構築手法を提示する。新たに提唱された ℓ₂ 頻度近似への還元を用い、サイズ O(k/ε²) の (ε,k)-コアセットを、元の行の重み付き部分集合として保証する。これにより、テキストやソーシャルネットワークのようなスパース行列に対し、(1±ε) の誤差境界を保証する効率的な低ランク近似が可能となる。

ABSTRACT

In this paper we present a practical solution with performance guarantees to the problem of dimensionality reduction for very large scale sparse matrices. We show applications of our approach to computing the low rank approximation (reduced SVD) of such matrices. Our solution uses coresets, which is a subset of $O(k/\eps^2)$ scaled rows from the $n imes d$ input matrix, that approximates the sub of squared distances from its rows to every $k$-dimensional subspace in $\REAL^d$, up to a factor of $1\pm\eps$. An open theoretical problem has been whether we can compute such a coreset that is independent of the input matrix and also a weighted subset of its rows. %An open practical problem has been whether we can compute a non-trivial approximation to the reduced SVD of very large databases such as the Wikipedia document-term matrix in a reasonable time. We answer this question affirmatively. % and demonstrate an algorithm that efficiently computes a low rank approximation of the entire English Wikipedia. Our main technical result is a novel technique for deterministic coreset construction that is based on a reduction to the problem of $\ell_2$ approximation for item frequencies.

研究の動機と目的

• テキストやソーシャルネットワーク行列のような大規模スパースデータセットにおける次元削減のための実用的で理論的に正確なアルゴリズムの不足に対処する。
• 入力サイズ (n,d) に依存せず、元の行の部分集合で非負の重みを持つコアセットを構築するという、未解決の理論的問題を解決する。
• データサイズを縮小しつつ近似品質を維持することで、大規模スパース行列における低ランク近似（例：SVD）の効率的計算を可能にする。
• ストリーミングおよび分散（容易に並列化可能な）計算モデルをサポートし、リアルタイムまたは大規模データ処理に適する。
• スパースで高次元な設定において、理論的保証を持つ決定的アルゴリズムによるコアセットの構築を提供する。

提案手法

• コアセット構築問題を、アイテム頻度の ℓ₂ 頻度近似に還元することで、決定的な構築を可能にする。
• 入力行列 A を SVD で変換する：A = UDVᵀ とし、k次元および (d−k) 次元の成分を抽出・正規化して行列 X を構成する。
• 修正されたフランク＝ウォルフ風のアルゴリズムを用い、正規化空間における最も遠い点を逐次選択し、再帰的な中心ノルム計算により重みを更新する。
• 非ゼロ要素が O(k/ε²) 個に制限されたスパースな重みベクトル w ∈ [0,∞)^n を維持することで、コアセットサイズが n や d に依存しないことを保証する。
• 各反復で O(d²) の演算を回避するため、a, b, c の主要な量を再帰的に更新することで、1点あたりのメモリ使用量を O(d²) から O(d) に削減する。
• 重みの更新には α = (1−a+b)/(1+c−2a) を用い、現在の重みと新しい点の重みの凸結合を制御することで、有効なコアセットへの収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 入力次元 (n,d) に依存せず、元の行の部分集合であり、任意の k次元部分空間に対して (1±ε) 近似を提供するコアセットを構築することは可能か？
• RQ2 ランダムサンプリングを避けつつ、理論的保証を維持するスパースで高次元なデータにおけるコアセット構築の決定的アルゴリズムを設計することは可能か？
• RQ3 近似品質を損なわず、ストリーミングおよび分散計算モデルに適応したコアセット構築はどのように実現できるか？
• RQ4 コアセットサイズを O(k/ε²) に制限しつつ、任意の k部分空間への二乗距離の重み付き和が元の和を (1±ε) の範囲で近似できるか？
• RQ5 スパース性の影響はコアセットサイズとメモリ使用量にどのような影響を及ぼし、コアセットは元のデータのスパース性を保てるか？

主な発見

• 本稿では、元の行の重み付き部分集合であるサイズ O(k/ε²) の (ε,k)-コアセットを構築し、コアセット理論における長年の未解決問題を解決した。
• コアセット構築は決定的であり、ℓ₂ 頻度近似への還元に基づく。これにより、任意の k次元部分空間への二乗距離の和に対して (1±ε) の近似が保証される。
• アルゴリズムは O(k/ε²) 回の反復で実行され、中心ノルムの再帰的更新により、全行列演算を避けることで、1点あたり O(d) のメモリ使用量を実現する。
• ストリーミングおよび分散計算をサポートする：コアセットは 1パスで維持可能で、O(|C| log n) のメモリを要し、複数のマシン間で最小限のオーバーヘッドでマージ可能である。
• 合成データを用いた実験評価により、コアセットが高品質な近似を提供することが確認された。コアセットの低ランク近似は、元の行列のフル SVD と密接に一致した。
• コアセットはスパース性を保つ：入力行列 A がスパース（最大行スパースネス s）である場合、コアセットは n や d に依存せず、O(|C|·s) の単位のメモリで使用可能である。