[论文解读] HoroPCA: Hyperbolic Dimensionality Reduction via Horospherical Projections

Ines Chami, Albert Gu+2 more|arXiv (Cornell University)|Jun 6, 2021

Image and Signal Denoising Methods被引用 5

一句话总结

HoroPCA 提出了一种新颖的双曲降维方法，通过利用渐近面投影，将主成分分析（PCA）推广至双曲空间。与以往方法相比，该方法更准确地保持了主方向上的距离和信息，显著降低了失真（例如，平均失真为 0.078），并通过有效的数据白化技术，使下游分类性能提升最高达 3.9%。

ABSTRACT

This paper studies Principal Component Analysis (PCA) for data lying in hyperbolic spaces. Given directions, PCA relies on: (1) a parameterization of subspaces spanned by these directions, (2) a method of projection onto subspaces that preserves information in these directions, and (3) an objective to optimize, namely the variance explained by projections. We generalize each of these concepts to the hyperbolic space and propose HoroPCA, a method for hyperbolic dimensionality reduction. By focusing on the core problem of extracting principal directions, HoroPCA theoretically better preserves information in the original data such as distances, compared to previous generalizations of PCA. Empirically, we validate that HoroPCA outperforms existing dimensionality reduction methods, significantly reducing error in distance preservation. As a data whitening method, it improves downstream classification by up to 3.9% compared to methods that don't use whitening. Finally, we show that HoroPCA can be used to visualize hyperbolic data in two dimensions.

研究动机与目标

• 将主成分分析（PCA）推广至双曲空间，因为传统欧几里得 PCA 受几何约束而失效。
• 解决现有双曲降维方法中依赖测地线投影和基点所带来的不稳定性与信息损失问题。
• 开发一种方法，以保持主方向上的内在双曲距离与方差，确保位置无关且信息保留的投影。
• 实现低维双曲空间中层次化数据的有效数据白化与可视化。
• 为现有双曲几何中的 PCA 推广方法（如 PGA 和 BSA）提供理论基础扎实且计算高效的替代方案。

提出的方法

• 通过理想点（无穷远点）参数化双曲子空间，从而构建类似于欧几里得 PCA 的嵌套仿射子空间序列（旗结构）。
• 引入渐近面投影作为新型投影机制，可保持至理想点的距离，并维持投影点之间的等距关系。
• 利用渐近面——双曲空间中正交补的推广——定义互补方向，并通过在庞加莱球模型中求 K 个渐近面的交点来计算投影。
• 在双曲空间中使用基于距离的解释方差度量，通过弗雷歇方差计算，以优化主成分的选择。
• 在双曲面与庞加莱球模型中高效实现该算法，通过在超球面上进行迭代几何运算，避免显式求解高维交点。
• 将该方法应用于真实与合成的双曲数据，包括 WordNet 的庞加莱嵌入与 PyTorch 嵌入，实现降维与可视化。

实验结果

研究问题

• RQ1 能否在双曲几何中形式化一种 PCA 推广方法，使其在主方向上比测地线投影更有效地保持距离与信息？
• RQ2 基点的选择如何影响现有双曲 PCA 方法的稳定性与性能？该依赖关系能否被消除？
• RQ3 在低维与高维双曲空间中，渐近面投影与测地线投影相比，能在多大程度上保持双曲距离？
• RQ4 HoroPCA 在保持降维过程中的距离结构方面，是否优于 PGA、BSA、hMDS 与自编码器等现有方法？
• RQ5 HoroPCA 是否可作为有效的数据白化技术，以提升双曲嵌入的下游分类准确率？

主要发现

• 在 Diseases 与 CS Ph.D. 数据集的 50 维 PyTorch 嵌入上，HoroPCA 将平均失真降低至 0.078，显著优于 PGA（0.534）与 BSA（0.532）。
• 在合成数据上，渐近面投影的平均失真显著低于测地线投影，证实其具有更优的距离保持能力。
• 与非白化方法相比，HoroPCA 可将下游分类准确率提升最高达 3.9%，证明其作为数据白化技术的有效性。
• 该方法可实现双曲数据的有效二维可视化，如 WordNet 哺乳动物子树嵌入所示，成功保持了层次结构。
• HoroPCA 具备位置无关性：其投影对正交方向上的平移保持不变，而基于测地线的方法则依赖于基点。
• 该算法计算高效，渐近面投影通过在庞加莱球模型中迭代求解超球面交点实现，避免了显式求解高维交点。