[论文解读] Hyperbolic Geometry in Computer Vision: A Survey

Pengfei Fang, Mehrtash Harandi+2 more|arXiv (Cornell University)|Apr 21, 2023

Cognitive Computing and Networks被引用 4

一句话总结

本综述首次全面回顾了计算机视觉中的双曲几何，展示了其负曲率如何在视觉任务中实现对层次化数据结构的优越建模。通过将视觉数据嵌入双曲空间——特别是使用庞加莱球模型——方法在低维表示中实现了性能提升，尤其在数据稀缺条件下表现更优，且通过空间置信度度量和层次关系增强了可解释性。

ABSTRACT

Hyperbolic geometry, a Riemannian manifold endowed with constant sectional negative curvature, has been considered an alternative embedding space in many learning scenarios, \eg, natural language processing, graph learning, \etc, as a result of its intriguing property of encoding the data's hierarchical structure (like irregular graph or tree-likeness data). Recent studies prove that such data hierarchy also exists in the visual dataset, and investigate the successful practice of hyperbolic geometry in the computer vision (CV) regime, ranging from the classical image classification to advanced model adaptation learning. This paper presents the first and most up-to-date literature review of hyperbolic spaces for CV applications. To this end, we first introduce the background of hyperbolic geometry, followed by a comprehensive investigation of algorithms, with geometric prior of hyperbolic space, in the context of visual applications. We also conclude this manuscript and identify possible future directions.

研究动机与目标

• 系统性回顾计算机视觉中双曲几何的应用，该领域在现有综述中此前未被充分探索。
• 识别并分析双曲空间的负曲率如何实现对层次化视觉数据结构的更好表征。
• 考察双曲嵌入在低维、数据稀缺学习场景中相对于欧氏空间基线的性能增益。
• 探索双曲空间中的几何可解释性，例如通过径向位置进行置信度估计和父子关系。
• 识别开放挑战与未来研究方向，包括混合几何空间、先进的双曲神经算子以及双曲空间中的预训练范式。

提出的方法

• 调研并分类40余项近期在计算机视觉中应用双曲几何的研究，重点聚焦于庞加莱球模型进行嵌入。
• 分析双曲空间中的几何先验——特别是指数映射与对数映射——用于深度网络中的层间操作。
• 在多种学习范式下评估性能：监督学习、无监督学习、少样本学习、零样本学习以及模型适配学习。
• 将视觉数据集（如ImageNet、CUB-200）映射到双曲空间，以评估层次结构编码效果与失真减少程度。
• 在准确率、嵌入维度和低数据环境下泛化能力方面，对比双曲模型与欧氏基线模型的性能。
• 提出未来的方法论方向：混合几何、曲率自适应模型，以及双曲空间中的自监督预训练。

实验结果

研究问题

• RQ1 与欧氏空间相比，双曲几何如何提升对层次化视觉数据的表征能力？
• RQ2 在低维和低数据场景下，双曲嵌入为视觉任务带来了哪些性能增益？
• RQ3 庞加莱球中的径向位置能否作为模型预测的可靠置信度指标？
• RQ4 在双曲视觉嵌入中，层次关系（如父子关系）如何自然地涌现？
• RQ5 将双曲几何整合到视觉深度学习框架中的最有前景的未来方向是什么？

主要发现

• 由于在层次化数据中减少了失真，双曲嵌入在低维空间中显著优于欧氏嵌入，尤其在少样本和零样本学习中表现突出。
• 低置信度或高模糊性的样本在庞加莱球中始终被嵌入靠近原点的位置，而高置信度预测则位于边界附近，从而实现内在的不确定性估计。
• 视觉数据集的层次结构——如CUB-200中的图像分类体系——可有效通过双曲几何建模，验证了其在视觉任务中的相关性。
• 在度量学习、聚类和图像分割任务中，双曲模型在训练数据有限时显著优于欧氏基线模型。
• 模型适配学习（MAL）和双曲空间中的自监督预训练在跨任务迁移层次知识方面展现出强大潜力。
• 庞加莱球是当前计算机视觉应用中的主流模型，但其他模型如洛伦兹模型在特定任务中可能具有优势，提示需要开发模型无关或自适应的选择机制。