[论文解读] Sketching and Clustering Metric Measure Spaces

Facundo Mémoli, Anastasios Sidiropoulos+1 more|arXiv (Cornell University)|Jan 2, 2018

Automated Road and Building Extraction参考文献 45被引用 4

一句话总结

本文通过证明最优压缩目标（在 Gromov-Wasserstein 距离下用 k 点度量空间近似一个空间）与最优聚类目标（将空间划分为 k 个聚类以最小化 ℓp-直径）在常数因子范围内等价，建立了度量测度空间中压缩与聚类之间的对偶性。该对偶性在紧致度量空间和倍乘度量测度空间中成立，且存在算法可实现两类问题解之间的相互转换，但并非所有聚类目标都具有对应的压缩目标。

ABSTRACT

Two important optimization problems in the analysis of geometric data sets are clustering and sketching. Here, clustering refers to the problem of partitioning some input metric measure space (mm-space) into k clusters, minimizing some objective function f. Sketching, on the other hand, is the problem of approximating some mm-space by a smaller one supported on a set of k points. Specifically, we define the k-sketch of some mm-space M to be the nearest neighbor of M in the set of k-point mm-spaces, under some distance function ρon the set of mm-spaces. In this paper, we demonstrate a duality between general classes of clustering and sketching problems. We present a general method for efficiently transforming a solution for a clustering problem to a solution for a sketching problem, and vice versa, with approximately equal cost. More specifically, we obtain the following results. 1. For metric spaces, we consider the case where the clustering objective is minimizing the maximum cluster diameter. We show that the ratio between the sketching and clustering objectives is constant over compact metric spaces. 2. We extend these results to the setting of metric measure spaces where we prove that the ratio of sketching to clustering objectives is bounded both above and below by some universal constants. In this setting, the clustering objective involves minimizing various notions of the l_p-diameters} of the clusters. 3. We consider two competing notions of sketching for mm-spaces, with one of them being more demanding than the other. These notions arise from two different definitions of p-Gromov-Wasserstein distance that have appeared in the literature. We then prove that whereas the gap between these can be arbitrarily large, in the case of doubling metric spaces the resulting sketching objectives are polynomially related.

研究动机与目标

• 在度量测度空间中，建立压缩与聚类作为基本数据分析任务之间的理论对偶性。
• 研究压缩目标（用 k 点空间近似一个空间）是否在常数因子范围内等价于聚类目标（将空间划分为 k 个聚类以最小化与直径相关的代价）。
• 分析压缩与聚类之间的计算关系，包括近似算法与转换映射。
• 确定对偶性成立的条件，并通过反例说明其不成立的情形，从而揭示对偶性的非平凡性。
• 比较度量测度空间中两种不同的压缩形式——弱和强 Gromov-Wasserstein 距离——及其与聚类目标的关系。

提出的方法

• 将压缩定义为最小化输入度量测度空间与 k 点度量测度空间之间的 Gromov-Wasserstein 距离。
• 将聚类定义为最小化聚类的 ℓp-直径，包括使用最大直径或加权 ℓp-和直径的变体。
• 通过压缩与聚类解之间的双射映射建立对偶性，从而实现两类问题之间的算法转换。
• 证明对于紧致度量空间，压缩目标与聚类目标在常数因子范围内相互等价。
• 对于倍乘度量测度空间，证明两种压缩目标（弱与强 Gromov-Wasserstein 距离）之间存在多项式关系。
• 使用最远点采样法与近似算法，基于聚类解计算出具有理论保证的近似最优 k-压缩表示。

实验结果

研究问题

• RQ1 在度量测度空间中，压缩目标与聚类目标之间是否存在常数因子等价？
• RQ2 能否通过可计算的映射将压缩问题的解转换为聚类问题的解，反之亦然？
• RQ3 在倍乘度量测度空间中，基于弱与强 Gromov-Wasserstein 距离的两种竞争性压缩目标之间有何关系？
• RQ4 是否存在不具有任何对偶压缩目标的聚类目标？
• RQ5 计算最优 k-压缩表示的计算复杂度如何？能否从聚类算法导出近似算法？

主要发现

• 对于紧致度量空间，压缩目标与聚类目标（最小化最大聚类直径）在常数因子范围内相互等价。
• 在度量测度空间中，基于弱 Gromov-Wasserstein 距离的压缩目标与最小化 ℓp-直径的聚类目标之间存在普遍常数因子等价。
• 对于倍乘度量测度空间，两种压缩目标（弱与强 Gromov-Wasserstein 距离）之间存在多项式关系，而不仅限于常数因子关系。
• 压缩目标的精确计算是 NP-难的，但可通过最远点采样法在多项式时间内获得具有理论保证的近似算法。
• 存在某些聚类目标（如固定直径 R 下最小化聚类数量）不具有对偶压缩目标，从而证明了对偶性的非平凡性。
• 构造了一个反例：当 n→∞ 时，聚类代价趋于零，但压缩代价始终保持远离零，证明对于某些聚类目标，不存在通用的对偶压缩代价函数。