[論文レビュー] Coresets for Clustering in Graphs of Bounded Treewidth

D. N. Baker, Vladimir Braverman+4 more|arXiv (Cornell University)|Jul 10, 2019

Data Management and Algorithms被引用数 8

ひとこと要約

本稿では、有界木幅グラフにおけるk-メディアンクラスタリングのためのϵ-コアセットを近線形時間で構築するアルゴリズムを提示する。コアセットサイズは、データセットサイズnに依存しないO_{ϵ,k}(\operatorname{tw}(G))である。この手法は、シャッタリング次元に対する一様な上限を活用し、特に局所探索をコアセットと組み合わせた場合に、クラスタリングワークロードで顕著な高速化を達成する。

ABSTRACT

We initiate the study of coresets for clustering in graph metrics, i.e., the shortest-path metric of edge-weighted graphs. Such clustering problems are essential to data analysis and used for example in road networks and data visualization. A coreset is a compact summary of the data that approximately preserves the clustering objective for every possible center set, and it offers significant efficiency improvements in terms of running time, storage, and communication, including in streaming and distributed settings. Our main result is a near-linear time construction of a coreset for k-Median in a general graph $G$, with size $O_{ε, k}(\mathrm{tw}(G))$ where $\mathrm{tw}(G)$ is the treewidth of $G$, and we complement the construction with a nearly-tight size lower bound. The construction is based on the framework of Feldman and Langberg [STOC 2011], and our main technical contribution, as required by this framework, is a uniform bound of $O(\mathrm{tw}(G))$ on the shattering dimension under any point weights. We validate our coreset on real-world road networks, and our scalable algorithm constructs tiny coresets with high accuracy, which translates to a massive speedup of existing approximation algorithms such as local search for graph k-Median.

研究の動機と目的

• グラフメトリクス、特にロードネットワークのような構造的グラフにおけるk-メディアンクラスタリングのコアセット構築の欠如に応えること。
• 有界木幅グラフにおいて、入力サイズnに依存しないサイズで、近線形時間で効率的なコアセット構築を行うこと。
• シャッタリング次元の上限を用いて理論的保証を確立し、実世界のロードネットワークデータ上で実験的に検証すること。
• 既存の近似アルゴリズム（例：局所探索）と統合した場合に、クラスタリングパイプラインで実用的な高速化を示すこと。

提案手法

• コアセット構築に適したFeldman-Langbergフレームワークを適用し、任意の点重み分布に対してシャッタリング次元の上限を導出する必要がある。
• 有界木幅グラフにおいて、任意の点重み分布に対してシャッタリング次元の上界をO(\operatorname{tw}(G))として一様に確立する。
• この上限を用いて、グラフメトリクスにおけるk-メディアンのϵ-コアセットをO_{\epsilon,k}(\operatorname{tw}(G))のサイズで構築する。
• 感度サンプリングに基づく重み付きサンプリング手順を用いて、元のデータセットからコアセットを生成する。
• 実際のロードネットワークデータ上でコアセットを実験的に評価し、一様なランダムサンプリングと比較し、最大経験誤差を測定する。
• コアセットをk-メディアンの局所探索アルゴリズムに統合し、D × VおよびD × Dの探索空間の両方で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 グラフメトリクス、特に有界木幅グラフにおいて、k-メディアンクラスタリングのためのコアセットを効率的に構築できるか？
• RQ2 コアセットサイズは木幅\operatorname{tw}(G)にどのように依存するか？また、データセットサイズnに依存しないようにできるか？
• RQ3 一様サンプリングと比較して、実世界の環境でコアセットはどの程度の精度と高速化を達成するか？
• RQ4 コアセットは、グラフk-メディアンにおける既存の近似アルゴリズム（例：局所探索）をどの程度高速化できるか？

主な発見

• コアセット構築は近線形時間で実行され、サイズがO_{\epsilon,k}(\operatorname{tw}(G))でnに依存しない。これは、一般メトリクスにおけるコアセット構築手法に比べ顕著な改善である。
• 実世界のロードネットワークでは、約1,000ポイントで5%の誤差を達成し、マンハッタン集中データでは一様サンプリングに比べ3〜5倍の精度を上回る。
• 同じサイズのコアセットは、異なるデータセットサイズに対しても一貫した精度を維持しており、理論的にnに依存しないことを裏付ける。
• コアセット上で実行する局所探索（D × D）は、元のデータセット（X × V）上で実行する場合に比べ最大1,000倍の高速化を達成し、目的値の誤差は5%〜10%にとどまる。
• k=25などの大きなkで構築したコアセットは、小さなk'に対しても有効であり、複数のクラスタリング実験で再利用可能である。
• コアセット構築時間は、元のデータセット上で局所探索を実行する時間のおよそ100倍速く、一回の事前処理として実用的である。