[論文レビュー] One-Shot Coresets: The Case of k-Clustering

Olivier Bachem, Mario Lučić+1 more|arXiv (Cornell University)|Nov 27, 2017

Advanced Clustering Algorithms Research参考文献 12被引用数 10

ひとこと要約

本稿では、1回の計算でk-クラスタリングの多様な目的関数（例：k-平均、k-メディアン、k-センター）を同時にサポートする、コンパクトで理論的に保証された良いデータ要約であるワンショットコアセットを導入する。著者らは、p-ノルムの対数スケールで等間隔に配置されたグリッド上での感度サンプリングを用いて、ユークリッド空間およびメトリック空間の両方で強い理論的保証を得られる、O(8^p_max k log n log p_max)のコアセットサイズを実現する効率的なアルゴリズムを提案する。

ABSTRACT

Scaling clustering algorithms to massive data sets is a challenging task. Recently, several successful approaches based on data summarization methods, such as coresets and sketches, were proposed. While these techniques provide provably good and small summaries, they are inherently problem dependent - the practitioner has to commit to a fixed clustering objective before even exploring the data. However, can one construct small data summaries for a wide range of clustering problems simultaneously? In this work, we affirmatively answer this question by proposing an efficient algorithm that constructs such one-shot summaries for k-clustering problems while retaining strong theoretical guarantees.

研究の動機と目的

• 既存のコアセットが1つのクラスタリング目的関数に依存しており、異なる目的関数を探索する際には再計算が必要であるという制限を解消すること。
• 同じデータ要約上で、k-平均、k-メディアンなどの複数のk-クラスタリング目的関数を再処理せずに探索可能にする。
• ユークリッド空間およびメトリック空間の両方で、連続的なp-ノルム目的関数の族に一般に適応可能なコアセット構築法を開発すること。
• 1つの統一された要約を用いて、すべてのp ∈ [1, p_max]に対してコアセットの品質に関する理論的保証を提供すること。
• ストリーミングまたは分散データに適した、1回の計算でスケーラブルな要約化を実現する点で、最先端のコアセット構築法を改善すること。

提案手法

• ワンショットコアセットを、すべてのk-クラスタリング目的関数（p ∈ [1, p_max]）に対して同時に(1±ε)-近似を達成する重み付き部分集合として定義する。
• 連続的なp-ノルムの範囲を離散化するため、r ∈ O(1/ε log n log p_max)を満たす対数グリッドP = {1, (1+γ), ..., (1+γ)^r}を構築する。
• 各点xと各p ∈ Pに対して感度スコアσ_p(x)をDp-サンプリングで計算し、それらの感度の上界を一様にs(x) = Σ_{p∈P} Δ·s_p(x)として定義する。
• 各点xをs(x)に比例する確率で独立に選択することでコアセットCをサンプリングし、すべてのp ∈ Pに対して(1±ε)-近似を保証する。
• Hölderの不等式と隣接するグリッド点間の補間を活用し、離散的グリッド点でのコアセットの保証を、全体の連続区間[1, p_max]に拡張する。
• グリッド点全体にわたる和集合の不等式と感度サンプリング理論を組み合わせることで、すべての目的関数に対して高い確率でコアセットの品質を保証する。

実験結果

リサーチクエスチョン

• RQ1 無限に多くのk-クラスタリング目的関数を同時に保証できるような、1つの小さなデータ要約を構築することは可能か？
• RQ2 すべてのk-クラスタリング目的関数（p ∈ [1, p_max]）に対して(1±ε)-近似を維持するための最小コアセットサイズは何か？
• RQ3 感度ベースのサンプリングを、各目的関数ごとに再計算を行わずに、連続的なp-ノルム目的関数の族をサポートできるようにどのように拡張できるか？
• RQ4 離散的コアセット構築法の理論的保証を、補間と集中不等式を用いて連続的なpの範囲に拡張できるか？
• RQ5 ユークリッド空間および一般のメトリック空間において、このようなワンショットコアセットを構築する計算の複雑度は何か？

主な発見

• 提案されたアルゴリズムは、すべてのk-クラスタリング目的関数（p ∈ [1, p_max]）に対して(1±ε)-近似を達成する、サイズO(8^{p_max} k log n log p_max)のワンショットコアセットを構築する。
• コアセット構築は効率的であり、Dp-サンプリングサブルーチンをO(log n log p_max)回呼び出すだけでよく、各回の計算量はO(n k d log(1/δ))である。
• 適切に選ばれた離散的p値グリッドの間で補間を行うことで、すべてのp ∈ [1, p_max]に対してコアセット品質の理論的保証を強固に達成する。
• 感度スコアの上界を一様に定義することで、感度ベースのサンプリングフレームワークを連続的な目的関数の族をサポートするように一般化する。
• 各クラスタリング目的関数ごとに要約を再計算する必要がなくなるため、1回の要約化で済ませられる点で、従来のコアセット構築法を改善する。
• 理論的解析により、p値の離散的グリッド（間隔(1+γ)）に対して有効なコアセットは、Hölderの不等式と補間を用いて、全体の連続区間へ拡張可能であることが確認された。