[论文解读] Clustering in Hilbert simplex geometry

Frank Nielsen, Ke Sun|arXiv (Cornell University)|Apr 3, 2017

Face and Expression Recognition参考文献 110被引用 6

一句话总结

本文引入希尔伯特单纯形几何作为在概率单纯形中聚类类别分布的计算高效框架，利用满足信息单调性的非可分希尔伯特度量。它证明了艾奇森距离与希尔伯特单纯形距离均为归一化对数表示下的范数距离，并通过实证表明，在k-means与k-center算法下，其聚类性能优于黎曼几何与信息几何方法。

ABSTRACT

Clustering categorical distributions in the finite-dimensional probability simplex is a fundamental task met in many applications dealing with normalized histograms. Traditionally, the differential-geometric structures of the probability simplex have been used either by (i) setting the Riemannian metric tensor to the Fisher information matrix of the categorical distributions, or (ii) defining the dualistic information-geometric structure induced by a smooth dissimilarity measure, the Kullback-Leibler divergence. In this work, we introduce for clustering tasks a novel computationally-friendly framework for modeling geometrically the probability simplex: The {\em Hilbert simplex geometry}. In the Hilbert simplex geometry, the distance is the non-separable Hilbert's metric distance which satisfies the property of information monotonicity with distance level set functions described by polytope boundaries. We show that both the Aitchison and Hilbert simplex distances are norm distances on normalized logarithmic representations with respect to the $\ell_2$ and variation norms, respectively. We discuss the pros and cons of those different statistical modelings, and benchmark experimentally these different kind of geometries for center-based $k$-means and $k$-center clustering. Furthermore, since a canonical Hilbert distance can be defined on any bounded convex subset of the Euclidean space, we also consider Hilbert's geometry of the elliptope of correlation matrices and study its clustering performances compared to Fröbenius and log-det divergences.

研究动机与目标

• 开发一种计算高效的几何框架，用于在概率单纯形中进行聚类。
• 确立希尔伯特单纯形几何作为现有信息几何与黎曼模型的可行替代方案。
• 证明非可分希尔伯特单纯形距离的信息单调性。
• 在k-means与k-center聚类中，将希尔伯特几何与费雪-罗奥、Kullback-Leibler及总变差度量进行基准对比。
• 将该框架扩展至相关系数矩阵的椭圆体，并与Frobenius与log-det散度进行比较。

提出的方法

• 通过在概率单纯形上使用非可分希尔伯特度量定义希尔伯特单纯形几何，该度量在射影变换下保持不变。
• 推导出椭圆体中比尔霍夫射影距离的闭式公式，实现无需定制算法的精确计算。
• 建立艾奇森距离与希尔伯特单纯形距离均为归一化对数表示空间中范数距离的理论关系，前者使用ℓ₂范数，后者使用变差（ℓ₁）范数。
• 利用公式11直接计算希尔伯特单纯形距离，避免迭代或专用求解器。
• 在希尔伯特度量下使用k-means与k-center算法进行聚类，并通过实验基准分析其收敛性与性能。
• 将该方法扩展至相关系数矩阵的椭圆体，在此场景中将希尔伯特度量与汤普森度量及Kullback-Leibler散度进行比较。

实验结果

研究问题

• RQ1 希尔伯特单纯形几何能否为现有信息几何框架提供一种计算高效且几何上合理的聚类替代方案？
• RQ2 非可分希尔伯特单纯形距离是否满足信息几何中的关键要求——信息单调性？
• RQ3 希尔伯特单纯形距离与艾奇森距离在归一化对数表示空间的范数空间中具有何种关系？
• RQ4 与费雪-罗奥、Kullback-Leibler及总变差度量相比，希尔伯特几何在实证聚类性能上有哪些提升？
• RQ5 希尔伯特几何框架能否推广至其他有界凸域（如相关系数矩阵的椭圆体）？

主要发现

• 非可分希尔伯特单纯形距离满足信息单调性，这是此前未被证明的关键理论性质。
• 在椭圆体中推导出比尔霍夫射影距离的闭式表达式，实现了精确且高效的计算。
• 证明希尔伯特单纯形距离在归一化对数表示空间中为变差（ℓ₁）范数下的范数距离。
• 实验结果表明，基于希尔伯特几何的k-means与k-center算法在聚类性能上优于使用费雪-罗奥与Kullback-Leibler度量的流形方法。
• 希尔伯特几何框架生成的聚类区域（希尔伯特球）比FHR与IG基球更清晰，有助于提升收敛性并实现更具竞争力的性能。
• 该方法可推广至椭圆体，在此场景中希尔伯特度量在性能上显著优于汤普森度量与对称化Kullback-Leibler散度。