[論文レビュー] Strong Coresets for k-Median and Subspace Approximation: Goodbye Dimension

Christian Sohler, David P. Woodruff|arXiv (Cornell University)|Sep 9, 2018

Sparse and Compressive Sensing Techniques参考文献 17被引用数 4

ひとこと要約

本稿では、p ≥ 1 に対する p-ノルムに関する先行研究を一般化する、新しい次元削減技術を用いて、n や d に依存しないサイズの poly(k/ε) である強力なコアセットを、k-メディアンおよび部分空間近似のための最初のものとして提示する。この手法により、O(nnz(A)) + (n+d)poly(k/ε) + exp(poly(k/ε)) 時間で効率的なコアセット構築が可能となり、すべてのセンター集合に対して同時に (1+ε)-近似が達成される。

ABSTRACT

We obtain the first strong coresets for the $k$-median and subspace approximation problems with sum of distances objective function, on $n$ points in $d$ dimensions, with a number of weighted points that is independent of both $n$ and $d$; namely, our coresets have size $ ext{poly}(k/ε)$. A strong coreset $(1+ε)$-approximates the cost function for all possible sets of centers simultaneously. We also give efficient $ ext{nnz}(A) + (n+d) ext{poly}(k/ε) + \exp( ext{poly}(k/ε))$ time algorithms for computing these coresets. We obtain the result by introducing a new dimensionality reduction technique for coresets that significantly generalizes an earlier result of Feldman, Sohler and Schmidt \cite{FSS13} for squared Euclidean distances to sums of $p$-th powers of Euclidean distances for constant $p\ge1$.

研究の動機と目的

• データ次元 d やサンプル数 n に依存しない、k-メディアンおよび部分空間近似のための強力コアセットの開発。
• 特に距離の和を目的関数とする場合に、従来のコアセット手法が d や n に線形に依存するという制限を克服すること。
• Feldman らの次元削減技術を、二乗 ℓ2 距離から一般の ℓp 距離（p ≥ 1）に一般化すること。
• すべての可能なセンター集合に対して同時に (1+ε)-近似を達成することにより、下流の応用における耐障害性を高めること。
• 入力のスパarsityに対してほぼ線形時間計算量であり、出力サイズが poly(k/ε) である効率的なコアセット構築アルゴリズムの設計。

提案手法

• p ≥ 1 に対する ℓp 距離を保存するように、入力点を poly(k/ε)-次元部分空間に射影する、新しい次元削減フレームワークの導入。
• 確率的スケッチと直交射影を用いて、環境次元を O(k/ε²) に低減し、k-メディアンおよび部分空間近似のコストを (1±ε) の範囲で保存する。
• 削減された空間でコアセット構築法（例：[12] や [4] からのもの）を適用し、すべてのセンター集合を近似するサイズ poly(k/ε) の重み付き集合を取得する。
• 座標回復を用いてコアセットを元の空間に戻すことで、任意の k-センター集合への距離を保存する最終的なコアセットを保証する。
• 直交変換が ℓ2 距離を保存することを活用し、コアセットが元の空間でも有効であることを保証する。
• サンプリングとスケーリング行列を用いて、射影されたデータから効率的に最終的なコアセット点を選択・重み付けする。

実験結果

リサーチクエスチョン

• RQ1 k-メディアンおよび部分空間近似のための強力コアセットを、n や d に依存しないサイズで構築可能か？
• RQ2 ℓ2 距離に用いられる次元削減技術を、p ≥ 1 に対する ℓp 距離へ一般化可能か？
• RQ3 サイズが poly(k/ε) のコアセットを用いて、すべての k-センター集合に対して同時に (1+ε)-近似を達成可能か？
• RQ4 このようなコアセットの構築時間計算量は何か？ また、入力のスパarsityに対してほぼ線形時間にできるか？
• RQ5 提案手法を用いて、分散環境やストリーミング設定でも効率的にコアセットを計算可能か？

主な発見

• 本稿は、n や d に依存しないサイズの poly(k/ε) である、k-メディアンおよび部分空間近似のための最初の強力コアセットを構築した。
• コアセット構築は O(nnz(A)) + (n+d)poly(k/ε) + exp(poly(k/ε)) 時間で実行され、すべての k-センター集合に対して同時に (1+ε)-近似が達成される。
• 本手法は、ℓ2 に基づくコアセットに関する先行研究を、p ≥ 1 に対する一般の ℓp 距離へ一般化し、より広範な応用可能性を実現した。
• k-メディアンの場合は、コアセットサイズは O(k² log k / ε⁴) であり、すべてのセンター集合に対して (1+ε)-相対誤差が保証される。
• 低ストレッチまたはスパースな入力設定でも効率的な計算が可能で、入力のスパarsityに対してほぼ線形時間計算量を達成する。
• 正しさは、元の空間 → 削減された部分空間 → 削減された空間でのコアセット → 再び元の空間への変換という、各段階で ε の誤差内に収まる近似の鎖によって達成される。