[論文レビュー] A Unified Framework for Approximating and Clustering Data

Dan Feldman, Michael Langberg|arXiv (Cornell University)|Jun 7, 2011

Sparse and Compressive Sensing Techniques参考文献 21被引用数 9

ひとこと要約

本稿では、VC理論における$\varepsilon$-近似の概念に還元することで、広範な形状適合およびクラスタリング問題のためのコアセットと近似クラスタリング解を統一的に構築するフレームワークを提示する。このアプローチにより、証明可能な近似保証を伴う小規模なコアセットを効率的かつストリーミング対応で計算可能となり、$k$-メディアン、プロジェクティブクラスタリング、低ランク近似などの問題において、従来のコアセットが存在しない場合ですら、実行時間とコアセットサイズの大幅な向上が達成される。

ABSTRACT

Given a set $F$ of $n$ positive functions over a ground set $X$, we consider the problem of computing $x^*$ that minimizes the expression $\sum_{f\in F}f(x)$, over $x\in X$. A typical application is \emph{shape fitting}, where we wish to approximate a set $P$ of $n$ elements (say, points) by a shape $x$ from a (possibly infinite) family $X$ of shapes. Here, each point $p\in P$ corresponds to a function $f$ such that $f(x)$ is the distance from $p$ to $x$, and we seek a shape $x$ that minimizes the sum of distances from each point in $P$. In the $k$-clustering variant, each $x\in X$ is a tuple of $k$ shapes, and $f(x)$ is the distance from $p$ to its closest shape in $x$. Our main result is a unified framework for constructing {\em coresets} and {\em approximate clustering} for such general sets of functions. To achieve our results, we forge a link between the classic and well defined notion of $\varepsilon$-approximations from the theory of PAC Learning and VC dimension, to the relatively new (and not so consistent) paradigm of coresets, which are some kind of "compressed representation" of the input set $F$. Using traditional techniques, a coreset usually implies an LTAS (linear time approximation scheme) for the corresponding optimization problem, which can be computed in parallel, via one pass over the data, and using only polylogarithmic space (i.e, in the streaming model). We show how to generalize the results of our framework for squared distances (as in $k$-mean), distances to the $q$th power, and deterministic constructions.

研究の動機と目的

• 多様なクラスタリングおよび形状適合問題にわたるコアセット構築のための一般化された手法の欠如に対処すること。
• VC理論におけるwell-establishedな$\varepsilon$-近似の概念への統一的還元を提供すること。
• 多対数時間領域使用量を伴う、効率的でストリーミングおよび並列処理可能なコアセットの計算を可能にすること。
• 従来のコアセットが存在しない、もしくは最適化が困難な場合に対しても、バイクリテリア近似または低次元の大規模コアセットを提供することで処理すること。
• $k$-メディアン、$k$-ラインメディアン、低ランク近似といった基本的問題のコアセットサイズを著しく縮小し、実行時間を向上させること。

提案手法

• VC次元理論を用いて、$\varepsilon$-近似の構築問題にコアセット構築を還元する。
• 関数の複雑さとVC次元に基づく重要度重みを用いたサンプリングに基づくアプローチを採用する。
• 二段階の構築法を適用：まず$\varepsilon$-近似を用いて低次元空間で大規模なコアセットを構築し、次にSVDまたは部分空間近似を用いてサイズ$O(s)$に圧縮する。
• 正確なコアセットが証明的に不可能な場合に、バイクリテリア近似戦略を用い、定数要因の近似を保証する。
• Frobeniusノルムと行列分解（QR/SVD）を用いて、コアセット構築中にコスト近似を維持する。
• 低ランク射影におけるコスト関数の安定性を活用し、すべてのクエリ中心点における近似誤差を制限する。

実験結果

リサーチクエスチョン

• RQ1 一様で汎用的なフレームワークが、多様なクラスタリングおよび形状適合問題におけるコアセット構築を統一的に可能にするか？
• RQ2 VC理論における$\varepsilon$-近似が、証明可能な保証を持つコアセット構築に効果的に再利用可能か？
• RQ3 多対数時間領域と1パス処理を伴うストリーミングモデルにおいて、コアセットを効率的に構築可能か？
• RQ4 従来のコアセットが存在しない問題（例：$\mathbb{R}^2$における$k$-ラインメディアンや重み付き$k$-クラスタリング）を、このフレームワークはどのように処理できるか？
• RQ5 $k$-メディアン、プロジェクティブクラスタリング、低ランク近似において、先行研究に比べてより小さなコアセットとより高速な実行時間を達成できるか？

主な発見

• 本フレームワークは、$k$-メディアン、$k$-ラインメディアン、プロジェクティブクラスタリングにおいて、$O(s)$サイズのコアセットを構築でき、従来の構築法に比べて著しく小さい。
• $k$-メディアンにおいて、実行時間は$O(ndr)$に改善され、以前の手法を上回る。
• サイズ$O(s)$のコアセットを用いて、最適解の$(1 + \varepsilon)$-近似を達成し、合計実行時間は$O(a + s^2 + ds\min\{s,d\})$となる。
• コアセットが存在しない問題（例：$\mathbb{R}^2$における$k$-ライン）に対しても、定数要因保証を持つバイクリテリア近似を提供する。
• 二乗距離に対して$10\varepsilon$の近似誤差バウンドを達成し、すべてのクエリ中心点におけるコスト保存を保証する。
• フレームワークは$\ell_p$回帰、低ランク近似、部分空間近似へ一般化可能であり、より小さいコアセットサイズとより高速なアルゴリズムをもたらす。