[论文解读] A Unified Framework for Sampling, Clustering and Embedding Data Points in Semi-Metric Spaces

Chia-Tai Chang, Cheng‐Shang Chang|arXiv (Cornell University)|Aug 1, 2017

Face and Expression Recognition参考文献 10被引用 3

一句话总结

本文提出了一种统一框架，用于在半度量空间中对数据点进行采样、聚类和嵌入，通过将数据建模为加权图，并利用指数扭曲实现多分辨率聚类。该框架引入了一种基于协方差矩阵的Softmax聚类算法，可同时实现聚类与低维嵌入，并在使用平方欧几里得距离时与主成分分析（PCA）具有理论等价性；实验表明，归一化模块性最大化倾向于生成平衡的聚类，而半度量因违反三角不等式而导致性能下降。

ABSTRACT

In this paper, we propose a unified framework for sampling, clustering and embedding data points in semi-metric spaces. For a set of data points $Ω=\{x_1, x_2, \ldots, x_n\}$ in a semi-metric space, we consider a complete graph with $n$ nodes and $n$ self edges and then map each data point in $Ω$ to a node in the graph with the edge weight between two nodes being the distance between the corresponding two points in $Ω$. By doing so, several well-known sampling techniques can be applied for clustering data points in a semi-metric space. One particularly interesting sampling technique is the exponentially twisted sampling in which one can specify the desired average distance from the sampling distribution to detect clusters with various resolutions. We also propose a softmax clustering algorithm that can perform a clustering and embed data points in a semi-metric space to a low dimensional Euclidean space. Our experimental results show that after a certain number of iterations of "training", our softmax algorithm can reveal the "topology" of the data from a high dimensional Euclidean. We also show that the eigendecomposition of a covariance matrix is equivalent to the principal component analysis (PCA). To deal with the hierarchical structure of clusters, our softmax clustering algorithm can also be used with a hierarchical clustering algorithm. For this, we propose a partitional-hierarchical algorithm, called $i$PHD, in this paper. Our experimental results show that those algorithms based on the maximization of normalized modularity tend to balance the sizes of detected clusters and thus do not perform well when the ground-truth clusters are different in sizes. Also, using a metric is better than using a semi-metric as the triangular inequality is not satisfied for a semi-metric and that is more prone to clustering errors.

研究动机与目标

• 为解决聚类问题的不适定性，提出一种概率框架，以实现数据中社区的多分辨率检测。
• 统一在三角不等式不必然成立的半度量空间中进行采样、聚类与嵌入。
• 证明基于协方差的Softmax聚类算法可仅使用成对距离实现数据的聚类与低维嵌入。
• 比较目标函数（模块性 vs. 归一化模块性）与距离度量（半度量 vs. 度量）对聚类性能的影响。
• 表明使用度量而非半度量可降低聚类误差，原因在于三角不等式的违反。

提出的方法

• 将半度量空间中的数据点建模为完全图的节点，边权重等于成对距离。
• 应用指数扭曲采样，通过调节逆温度参数λ生成采样分布，以实现多分辨率聚类。
• 从采样分布构建协方差矩阵，以表示数据点之间的成对相关性。
• 开发一种Softmax聚类算法，利用协方差矩阵通过基于Softmax函数的概率分配将数据点分配至聚类。
• 通过协方差矩阵的特征分解将数据点嵌入低维欧几里得空间，并在使用平方欧几里得距离时证明其与PCA等价。
• 提出迭代分部-层次检测（iPHD）算法，通过结合Softmax聚类与凝聚聚类，以处理层次聚类结构。

实验结果

研究问题

• RQ1 如何设计一个统一框架，以在三角不等式不成立的半度量空间中实现采样、聚类与嵌入？
• RQ2 目标函数的选择（模块性最大化 vs. 归一化模块性最大化）在多大程度上影响聚类性能？
• RQ3 使用半度量与度量在多大程度上影响聚类精度，特别是在违反三角不等式时？
• RQ4 能否通过采样分布导出的协方差矩阵，仅使用成对距离实现数据的聚类与低维嵌入？
• RQ5 Softmax聚类算法在不同分辨率下的表现如何？能否揭示高维数据的潜在拓扑结构？

主要发现

• 随着逆温度θ增加至无穷大，Softmax聚类算法收敛至局部最优，确保聚类结果的稳定性。
• 当使用平方欧几里得距离作为半度量时，协方差矩阵的特征分解与主成分分析（PCA）具有理论等价性。
• 归一化模块性最大化倾向于平衡聚类大小，导致在真实聚类大小不均的的数据集上性能较差。
• 使用半度量而非度量会因违反三角不等式而增加聚类误差，反例表明非真实聚类划分可能获得更高的目标值。
• 通过最短路径计算将半度量转换为度量可提升聚类性能，表现为转换后真实聚类划分的目标值更低。
• iPHD算法通过结合分部Softmax聚类与凝聚细化，成功捕捉了层次聚类结构，实现了多分辨率分析。