[论文解读] Consistent Representation Learning for High Dimensional Data Analysis

Stan Z. Li, Lirong Wu+1 more|arXiv (Cornell University)|Dec 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 5

一句话总结

本文提出了一种一致表征学习（CRL）框架，该框架通过两阶段非线性变换（保留局部几何结构，LGP）联合优化非线性降维、聚类与可视化。CRL在性能与一致性方面优于t-SNE、UMAP等方法，新型聚类-可视化不一致性（CVI）度量指标证实了聚类与可视化输出之间更高的对齐程度。

ABSTRACT

High dimensional data analysis for exploration and discovery includes three fundamental tasks: dimensionality reduction, clustering, and visualization. When the three associated tasks are done separately, as is often the case thus far, inconsistencies can occur among the tasks in terms of data geometry and others. This can lead to confusing or misleading data interpretation. In this paper, we propose a novel neural network-based method, called Consistent Representation Learning (CRL), to accomplish the three associated tasks end-to-end and improve the consistencies. The CRL network consists of two nonlinear dimensionality reduction (NLDR) transformations: (1) one from the input data space to the latent feature space for clustering, and (2) the other from the clustering space to the final 2D or 3D space for visualization. Importantly, the two NLDR transformations are performed to best satisfy local geometry preserving (LGP) constraints across the spaces or network layers, to improve data consistencies along with the processing flow. Also, we propose a novel metric, clustering-visualization inconsistency (CVI), for evaluating the inconsistencies. Extensive comparative results show that the proposed CRL neural network method outperforms the popular t-SNE and UMAP-based and other contemporary clustering and visualization algorithms in terms of evaluation metrics and visualization.

研究动机与目标

• 解决在高维数据分析中，非线性降维、聚类与可视化作为孤立、非协调步骤所引发的不一致性问题。
• 通过确保处理流程中几何结构的一致性，提升数据探索的可解释性与准确性。
• 开发一种统一的深度学习框架，端到端地在共享结构约束下联合优化非线性降维（NLDR）、聚类与可视化。
• 提出一种新的评估指标——聚类-可视化不一致性（CVI），以定量评估聚类与可视化结果之间的对齐程度。
• 证明在网络各层施加局部几何保持（LGP）约束可同时提升聚类准确率与可视化保真度。

提出的方法

• CRL采用两阶段神经网络：第一阶段将输入空间映射至潜在聚类空间；第二阶段将聚类空间映射至最终的2D或3D可视化空间。
• 在所有层上施加局部几何保持（LGP）约束，以在变换过程中保持类内与类间结构。
• 强制实施三种LGP约束：Head-Mid（输入到聚类空间）、Mid-Tail（聚类到可视化空间）与Head-Tail（输入到可视化空间），以确保几何一致性。
• 通过结合重建损失（通过自编码器实现）、聚类损失（如与K-means兼容）及LGP约束的多目标损失函数进行网络训练。
• 提出一种新型度量指标——聚类-可视化不一致性（CVI），用于定量评估聚类与可视化结果之间的错位程度。
• 采用反向传播进行端到端训练，并通过消融研究验证各组件的贡献。

实验结果

研究问题

• RQ1 与顺序独立处理相比，端到端联合优化非线性降维、聚类与可视化是否能提升一致性与性能？
• RQ2 网络各层中施加的局部几何保持（LGP）约束如何影响聚类与可视化结果之间的对齐程度？
• RQ3 所提出的CRL框架在聚类准确率与可视化质量方面，相较于t-SNE和UMAP等最先进方法的优越程度如何？
• RQ4 CRL模型在未见数据上的泛化能力如何？其在潜在空间与可视化空间中是否能保持一致的聚类边界？
• RQ5 各LGP约束（Head-Mid、Mid-Tail、Head-Tail）对系统整体性能与一致性的相对贡献如何？

主要发现

• 在MNIST-full数据集上，CRL达到97.6%的准确率与0.976的NMI，优于t-SNE（95.1%准确率，0.927 NMI）与UMAP（96.2%准确率，0.932 NMI）。
• 在USPS数据集上，CRL的CVI为0.034，显著低于t-SNE（0.193）与UMAP（0.213），表明其聚类-可视化一致性更优。
• 消融研究显示，若移除Mid-Tail LGP约束（连接聚类空间与可视化空间），CVI显著上升，尤其在USPS数据集上（从0.034升至0.193），证实其关键作用。
• Head-Mid LGP约束对高聚类准确率至关重要；若无此约束，聚类性能显著下降，尤其在MNIST-full与Fashion-MNIST上。
• 完整CRL模型在测试数据上泛化良好，保持高聚类准确率（如Coil100测试集达94.9%）与可视化中清晰的类间边界。
• 若完全不施加LGP约束（方案F），模型无法生成有意义的聚类或可视化结果，部分数据集CVI值超过1.0，证实几何约束的必要性。