[论文解读] Clustering, factor discovery and optimal transport

Hongkang Yang, Esteban G. Tabak|arXiv (Cornell University)|Feb 27, 2019

Geochemistry and Geologic Mapping参考文献 38被引用 5

一句话总结

本文提出了一种基于最优传输的新型聚类与潜在因子发现框架，通过将问题表述为Wasserstein质心最小化以减少未解释的方差。该方法引入了质心聚类和仿射因子发现算法，这些算法推广了k-means和主曲线方法，在处理非各向同性聚类时表现出更强的鲁棒性，并支持分层潜在因子的迭代发现。

ABSTRACT

The clustering problem, and more generally, latent factor discovery --or latent space inference-- is formulated in terms of the Wasserstein barycenter problem from optimal transport. The objective proposed is the maximization of the variability attributable to class, further characterized as the minimization of the variance of the Wasserstein barycenter. Existing theory, which constrains the transport maps to rigid translations, is extended to affine transformations. The resulting non-parametric clustering algorithms include k-means as a special case and exhibit more robust performance. A continuous version of these algorithms discovers continuous latent variables and generalizes principal curves. The strength of these algorithms is demonstrated by tests on both artificial and real-world data sets.

研究动机与目标

• 开发一种比传统均方误差目标函数更具鲁棒性和可解释性的潜在因子发现新框架。
• 通过引入最优传输中的二阶统计量，解决现有聚类与主曲线方法的局限性。
• 通过将条件分布合并为Wasserstein质心，实现潜在因子的分层结构的迭代发现。
• 将经典的k-means和主曲线算法作为统一最优传输框架下的特例进行推广。
• 提供一种可扩展且具有理论基础的方法，用于去除批次效应，并在高维数据中揭示连续与离散的潜在结构。

提出的方法

• 将因子发现问题表述为最小化条件分布Wasserstein质心的方差，以表示未解释的变异性。
• 通过允许在分布之间使用仿射而非仅刚性变换的映射，扩展了现有的最优传输理论，以更好地建模非各向同性聚类结构。
• 推导出在仿射传输下质心方差的闭式表达式，从而可通过基于梯度的方法实现高效优化。
• 提出质心k-means和质心聚类算法，利用各聚类特定的协方差矩阵，提升在非球形聚类上的性能。
• 开发了一种仿射因子发现算法，通过将最优传输质心用于建模连续潜在变量，推广了主曲线方法。
• 提出一种多阶段迭代过程，其中每个因子的条件分布的质心被用作发现后续因子的输入，从而实现分层因子提取。

实验结果

研究问题

• RQ1 如何利用最优传输定义比均方误差更鲁棒的聚类与潜在因子发现目标函数？
• RQ2 与仅使用刚性平移相比，仿射传输映射是否能提升在非各向同性及大小不一聚类上的聚类性能？
• RQ3 Wasserstein质心的方差如何作为数据中未解释变异性的一个代理指标？
• RQ4 所提出的框架在何种意义上推广了经典的k-means和主曲线算法？
• RQ5 基于质心的条件分布整合是否能有效实现高维数据中多个潜在因子的迭代发现？

主要发现

• 所提出的质心聚类算法在非各向同性聚类上优于标准k-means，因其显式建模了聚类的协方差矩阵。
• 质心k-means在性能上可与通用质心聚类相媲美，同时保持了经典k-means的计算效率。
• 仿射因子发现方法成功推广了主曲线，通过引入条件分布的方差，实现了连续潜在变量的发现。
• 在所有条件分布仅通过平移差异的特殊情况下，所有所提算法均退化为经典的k-means和主曲线方法。
• 该框架通过将条件分布整合为质心，实现了因子的迭代发现，保留了有意义的结构，从而支持分层因子提取。
• 该方法对批次效应具有鲁棒性，其能力可将多个条件分布整合为一个代表性质心，且失真最小。