[论文解读] Generalized Clustering and Multi-Manifold Learning with Geometric Structure Preservation

Lirong Wu, Zicheng Liu+4 more|arXiv (Cornell University)|Sep 21, 2020

Gait Recognition and Analysis被引用 4

一句话总结

本文提出GCML，一种统一的广义聚类与多流形学习框架，能够同时保持流形内部的局部几何结构和流形之间的全局几何结构。通过联合优化聚类损失、等距损失和排序损失，GCML在多种数据类型（包括语音、文本和生物数据）上实现了最先进的聚类性能，同时保持了高保真度的潜在空间几何结构。

ABSTRACT

Though manifold-based clustering has become a popular research topic, we observe that one important factor has been omitted by these works, namely that the defined clustering loss may corrupt the local and global structure of the latent space. In this paper, we propose a novel Generalized Clustering and Multi-manifold Learning (GCML) framework with geometric structure preservation for generalized data, i.e., not limited to 2-D image data and has a wide range of applications in speech, text, and biology domains. In the proposed framework, manifold clustering is done in the latent space guided by a clustering loss. To overcome the problem that the clustering-oriented loss may deteriorate the geometric structure of the latent space, an isometric loss is proposed for preserving intra-manifold structure locally and a ranking loss for inter-manifold structure globally. Extensive experimental results have shown that GCML exhibits superior performance to counterparts in terms of qualitative visualizations and quantitative metrics, which demonstrates the effectiveness of preserving geometric structure.

研究动机与目标

• 为解决现有基于流形的聚类方法在使用聚类损失时，未能在潜在空间中保持几何结构的问题。
• 开发一种统一框架，同时实现广义聚类与多流形学习，并显式保留局部与全局几何结构。
• 解决聚类目标与局部结构保持之间的矛盾，该矛盾可能降低学习表征的质量。
• 在超越二维图像的广义数据上验证框架的有效性，包括语音、文本和生物数据。
• 证明几何结构保持可提升下游任务性能，验证所学嵌入的实用性。

提出的方法

• 引入可学习的聚类中心作为参数，以指导潜在空间中的聚类过程。
• 采用聚类损失以促进不同流形之间的可分性和聚类分离。
• 提出等距损失，通过最小化邻近点间距离的畸变，以保持每个流形内的局部几何结构。
• 引入排序损失，通过保持聚类间相对距离排序，以保留全局流形间结构。
• 采用基于自编码器的架构，共享编码器与解码器，实现潜在空间的端到端训练。
• 应用交替训练和权重延续策略，以稳定优化并提升收敛性。

实验结果

研究问题

• RQ1 聚类损失是否会导致潜在空间中流形的局部和全局几何结构被破坏？
• RQ2 在聚类驱动的表征学习过程中，如何同时保持流形内部的局部几何结构与流形之间的全局可分性？
• RQ3 在多大程度上，几何结构的保持能提升聚类性能和下游任务的准确率？
• RQ4 所提出的框架在超越二维图像的广义数据类型（如语音、文本和生物数据）上是否有效？
• RQ5 各个组件（聚类损失、等距损失、排序损失、训练策略）对整体性能的贡献如何？

主要发现

• GCML在全部七个数据集上均实现了1.0的聚类准确率（CRA），表明潜在空间中聚类间距离排序被完美保持。
• 可视化与统计分析证实，仅GCML完整保留了聚类间的全局排序关系，而其他方法无法维持流形间结构。
• GCML中的等距损失使输入空间与潜在空间之间距离差异的分布最窄且峰值最高，表明其局部等距性优于基线方法。
• 在使用冻结嵌入的下游任务中，GCML在MNIST-full和Fashion-MNIST上对所有分类器（LR、MLP、SVM、RFC）的表现均优于所有基线方法。
• 消融研究显示，聚类损失对聚类性能至关重要，而结构导向损失（等距损失与排序损失）显著提升了多流形学习性能与整体鲁棒性。
• 交替训练与权重延续策略进一步提升了性能，尤其在RRE、Trust和CRA等指标上表现突出。