[论文解读] Deep Manifold Computing and Visualization

Stan Z. Li, Zelin Zang+1 more|arXiv (Cornell University)|Oct 28, 2020

3D Shape Modeling and Analysis被引用 2

一句话总结

本文提出了一种新型深度学习方法——弹性局部等距平滑度（ELIS），通过在各层之间施加双向散度损失与非线性相似性及激活函数，强制实现度量一致性，从而在非线性流形中保持局部几何结构。ELIS 在非线性降维、可视化以及流形数据生成方面优于 UMAP、t-SNE 和最先进的自编码器方法。

ABSTRACT

The ability to preserve local geometry of highly nonlinear manifolds in high dimensional spaces and properly unfold them into lower dimensional hyperplanes is the key to the success of manifold computing, nonlinear dimensionality reduction (NLDR) and visualization. This paper proposes a novel method, called elastic locally isometric smoothness (ELIS), to empower deep neural networks with such an ability. ELIS requires that a desired metric between points should be preserved across layers in order to preserve local geometry; such a smoothness constraint effectively regularizes vector-based transformations to become well-behaved local metric-preserving homeomorphisms. Moreover, ELIS requires that the smoothness should be imposed in a way to render sufficient flexibility for tackling complicated nonlinearity and non-Euclideanity; this is achieved layer-wisely via nonlinearity in both the similarity and activation functions. The ELIS method incorporates a class of suitable nonlinear similarity functions into a two-way divergence loss and uses hyperparameter continuation in finding optimal solutions. Extensive experiments, comparisons, and ablation study demonstrate that ELIS can deliver results not only superior to UMAP and t-SNE for and visualization but also better than other leading counterparts of manifold and autoencoder learning for NLDR and manifold data generation.

研究动机与目标

• 为解决将高度非线性、高维流形展开到低维空间时保持局部几何结构的挑战。
• 开发一种深度学习框架，确保网络各层之间实现行为良好、保持局部度量的变换。
• 提升对流形数据中复杂非线性与非欧几里得结构的建模灵活性。
• 在非线性降维（NLDR）、可视化以及流形数据生成方面，超越 UMAP 和 t-SNE 等现有方法的性能。

提出的方法

• ELIS 通过要求输入空间中的点间距离在潜在空间中得以保持，从而在各层之间强制实现度量保持，确保局部几何结构被保留。
• 采用双向散度损失对变换进行正则化，促进层间平滑、可逆且局部等距的映射。
• 在损失函数中引入非线性相似性函数，以建模数据中复杂的非欧几里得关系。
• 在各层中应用非线性激活函数，以提供足够的表达能力，处理复杂的流形结构。
• 采用超参数延续法，以高效优化损失函数并找到稳定、高质量的解。
• 将该方法集成到深度神经网络中，以实现流形结构的端到端学习。

实验结果

研究问题

• RQ1 深度学习框架能否在将高维非线性流形映射到低维空间时，有效保持局部几何结构？
• RQ2 如何在深层网络中跨多层强制实现平滑、局部等距且可逆的变换？
• RQ3 非线性相似性函数与激活函数在多大程度上可提升对复杂、非欧几里得流形结构的建模能力？
• RQ4 所提出的 ELIS 方法在基准数据集上的可视化与 NLDR 任务中是否优于 UMAP 和 t-SNE？
• RQ5 ELIS 能否生成高质量的流形数据，并在基于自编码器的流形学习中实现更优性能？

主要发现

• 与 UMAP 和 t-SNE 相比，ELIS 在可视化质量方面表现更优，尤其在保持局部邻域结构方面优势显著。
• 在复杂、高维数据集上的非线性降维任务中，ELIS 表现优于最先进的自编码器方法。
• ELIS 在流形数据生成方面表现强劲，生成的潜在表示既真实又结构一致。
• 消融实验表明，双向散度损失与非线性相似性函数对实现最优性能均至关重要。
• 超参数延续法实现了稳定高效的优化，从而获得一致且高质量的流形嵌入。
• 逐层应用非线性增强了灵活性，使模型能够有效建模非欧几里得与高度非线性的流形。