[論文レビュー] Sketching and Clustering Metric Measure Spaces

Facundo Mémoli, Anastasios Sidiropoulos+1 more|arXiv (Cornell University)|Jan 2, 2018

Automated Road and Building Extraction参考文献 45被引用数 4

ひとこと要約

本稿では、距離測度空間におけるスケッチとクラスタリングの双対性を確立する。具体的には、Gromov-Wasserstein距離に基づく最適なスケッチ目的関数（k点距離測度空間による空間の近似）が、ℓp-直径を最小化するk個のクラスタに分割する最適なクラスタリング目的関数と定数倍の要因で等価であることを示す。この双対性はコンパクトな距離空間およびダブリング距離測度空間において成り立ち、両者の問題間の解を変換するアルゴリズムが存在するが、すべてのクラスタリング目的関数が双対的なスケッチ目的関数をもつとは限らない。

ABSTRACT

Two important optimization problems in the analysis of geometric data sets are clustering and sketching. Here, clustering refers to the problem of partitioning some input metric measure space (mm-space) into k clusters, minimizing some objective function f. Sketching, on the other hand, is the problem of approximating some mm-space by a smaller one supported on a set of k points. Specifically, we define the k-sketch of some mm-space M to be the nearest neighbor of M in the set of k-point mm-spaces, under some distance function ρon the set of mm-spaces. In this paper, we demonstrate a duality between general classes of clustering and sketching problems. We present a general method for efficiently transforming a solution for a clustering problem to a solution for a sketching problem, and vice versa, with approximately equal cost. More specifically, we obtain the following results. 1. For metric spaces, we consider the case where the clustering objective is minimizing the maximum cluster diameter. We show that the ratio between the sketching and clustering objectives is constant over compact metric spaces. 2. We extend these results to the setting of metric measure spaces where we prove that the ratio of sketching to clustering objectives is bounded both above and below by some universal constants. In this setting, the clustering objective involves minimizing various notions of the l_p-diameters} of the clusters. 3. We consider two competing notions of sketching for mm-spaces, with one of them being more demanding than the other. These notions arise from two different definitions of p-Gromov-Wasserstein distance that have appeared in the literature. We then prove that whereas the gap between these can be arbitrarily large, in the case of doubling metric spaces the resulting sketching objectives are polynomially related.

研究の動機と目的

• 距離測度空間におけるスケッチとクラスタリングを、根本的なデータ解析タスクとして理論的双対性を確立すること。
• スケッチ目的関数（k点空間による空間の近似）とクラスタリング目的関数（直径関連コストを最小化するk個のクラスタに分割）とが、定数倍の要因で等価であるかどうかを調査すること。
• スケッチとクラスタリングの間の計算的関係、近似アルゴリズムおよび変換写像を含めて分析すること。
• 双対性が成り立つ条件を特定し、またその反例を示すことにより、双対性の非自明性を立証すること。
• 距離測度空間における2つの異なるスケッチ定式化（弱および強Gromov-Wasserstein距離）と、それらがクラスタリング目的関数とどのように関係するかを比較すること。

提案手法

• 入力の距離測度空間からk点距離測度空間へのGromov-Wasserstein距離を最小化することにより、スケッチを定義する。
• クラスタのℓp-直径を最小化することにより、クラスタリングを定義する。最大直径または重み付きℓp-和の直径を用いるバリエーションも含む。
• スケッチとクラスタリングの解の間の双対写像を用いて双対性を確立し、両者の間でのアルゴリズム的変換を可能にする。
• コンパクトな距離空間に対して、スケッチ目的関数とクラスタリング目的関数が互いに定数倍の要因で等価であることを証明する。
• ダブリング距離測度空間に対しては、2つのスケッチ目的関数（弱および強Gromov-Wasserstein距離）が多項式的に関係していることを示す。
• Farthest Point Samplingおよび近似アルゴリズムを用いて、クラスタリングの解に基づく近似的に最適なkスケッチを計算する。

実験結果

リサーチクエスチョン

• RQ1 距離測度空間において、スケッチとクラスタリング目的関数の間には定数倍の等価性が存在するか？
• RQ2 スケッチ問題の解を、計算可能な写像によってクラスタリング問題の解に変換でき、逆もまた同様に可能か？
• RQ3 ダブリング距離測度空間において、弱および強Gromov-Wasserstein距離に基づく2つの競合するスケッチ目的関数の関係は何か？
• RQ4 双対的なスケッチ目的関数をもたないクラスタリング目的関数は存在するか？
• RQ5 最適なkスケッチを計算する計算量的複雑性は何か？また、クラスタリングアルゴリズムから近似アルゴリズムを導出できるか？

主な発見

• コンパクトな距離空間において、スケッチ目的関数とクラスタリング目的関数（最大クラスタ直径を最小化）は、互いに定数倍の要因で等価である。
• 距離測度空間において、弱Gromov-Wasserstein距離に基づくスケッチ目的関数と、ℓp-直径を最小化するクラスタリング目的関数は、普遍的な定数倍の要因で等価である。
• ダブリング距離測度空間において、2つのスケッチ目的関数（弱および強Gromov-Wasserstein距離）は、定数倍の関係ではなく、多項式的に関係している。
• スケッチ目的関数は正確に計算することがNP困難であるが、理論的保証を伴うFarthest Point Samplingによる多項式時間近似アルゴリズムが存在する。
• 固定された直径Rに対してクラスタ数を最小化するようなクラスタリング目的関数は、双対的なスケッチ目的関数をもたないことがあり、双対性の非自明性を示している。
• n→∞のときクラスタリングコストは0に近づくが、スケッチコストは0から正の値で離れている反例を構成し、特定のクラスタリング目的関数に対しては、普遍的な双対スケッチコスト関数が存在しないことを証明した。