[论文解读] Relating tSNE and UMAP to Classical Dimensionality Reduction

Andrew Draganov, Simon Dohn|arXiv (Cornell University)|Jun 20, 2023

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文通过证明可通过吸引/排斥动力学恢复PCA，并在使用UMAP核时发现LLE梯度与tSNE/UMAP梯度高度相似，建立了现代基于吸引/排斥的降维方法（tSNE、UMAP）与经典方法（如PCA、LLE）之间的理论联系。关键贡献在于构建了一个将ARDR方法与经典DR联系起来的正式框架，从而为tSNE/UMAP嵌入提供了潜在的收敛性保证和可解释性。

ABSTRACT

It has become standard to use gradient-based dimensionality reduction (DR) methods like tSNE and UMAP when explaining what AI models have learned. This makes sense: these methods are fast, robust, and have an uncanny ability to find semantic patterns in high-dimensional data without supervision. Despite this, gradient-based DR methods lack the most important quality that an explainability method should possess: themselves being explainable. That is, given a UMAP output, it is currently unclear what one can say about the corresponding input. We work towards closing this question by relating UMAP to classical DR techniques. Specifically, we show that one can fully recover methods like PCA, MDS, and ISOMAP in the modern DR paradigm: by applying attractions and repulsions onto a randomly initialized dataset. We also show that, with a small change, Locally Linear Embeddings (LLE) can indistinguishably reproduce UMAP outputs. This implies that the UMAP effective objective is minimized by this modified version of LLE (and vice versa). Given this, we discuss what must be true of UMAP emebddings and present avenues for future work.

研究动机与目标

• 为解决tSNE和UMAP在解释神经网络表征时缺乏收敛性保证和可解释性的问题，这些方法被广泛用于此目的。
• 弥合理解较为透彻的经典降维方法（如PCA、LLE）与现代吸引/排斥降维（ARDR）方法（如tSNE和UMAP）之间的差距。
• 形式化描述ARDR嵌入可有意义地回溯至原始数据分布的条件。
• 探究tSNE和UMAP是否可被重新解释为使用特定核函数优化经典DR目标。
• 提出一条通往直接、非迭代计算类似tSNE/UMAP的嵌入路径，从而实现理论保证。

提出的方法

• 形式化构建一个框架，将经典DR方法（PCA、LLE）在ARDR设置中通过吸引和排斥力进行表示。
• 证明对随机初始化的数据集施加吸引/排斥动力学可可证明地恢复PCA嵌入，即使在低秩近似下亦成立。
• 表明使用UMAP核最小化LLE目标时，可得到与tSNE和UMAP高度相似的梯度和嵌入。
• 引入度量 $ f^* $ 以量化经典DR与ARDR方法之间嵌入的结构相似性。
• 提出猜想1：当在嵌入空间中使用UMAP核时，UMAP的梯度动态平均而言与LLE梯度对齐。
• 提出猜想2：存在一种直接的非迭代算法，可近似计算tSNE/UMAP的全局最优解，并具有可证明的误差界。

实验结果

研究问题

• RQ1 能否通过吸引和排斥动力学恢复如PCA和LLE等经典降维方法？
• RQ2 当在嵌入空间中使用UMAP核时，tSNE和UMAP的梯度在多大程度上与经典DR方法的梯度对齐？
• RQ3 是否存在一种直接的非迭代方法，能够生成与tSNE和UMAP嵌入在理论上高度相似的嵌入？
• RQ4 在输入数据中，哪些结构特性在映射到二维空间中同一区域的tSNE/UMAP嵌入中保持一致？
• RQ5 在何种条件下，经典DR方法的可解释性可被传递至tSNE和UMAP等ARDR方法？

主要发现

• 对随机初始化的数据集施加吸引和排斥力，可可证明地恢复PCA嵌入，即使在快速低秩近似下亦成立。
• 使用UMAP核最小化LLE目标时，生成的嵌入在结构上与tSNE和UMAP的嵌入高度相似，实验已验证此结论。
• 当在嵌入空间中使用UMAP核时，UMAP的梯度动态平均而言与LLE梯度正相关，支持猜想1。
• 所提出的包含度量 $ f^* $ 的框架可量化ARDR与经典DR嵌入之间的结构相似性，从而实现正式比较。
• 猜想2表明，可能存在一种直接的非迭代算法，可计算出成本为 $ (1\pm\varepsilon) $-最优的嵌入，为收敛性保证提供路径。
• 结果表明，tSNE/UMAP嵌入中的核心结构可能归因于底层的经典DR目标，尤其是使用双核的LLE。