[论文解读] Hyperbolic Busemann Learning with Ideal Prototypes

Mina Ghadimi Atigh, Martin Keller‐Ressel+1 more|arXiv (Cornell University)|Jun 28, 2021

Human Pose and Action Recognition参考文献 52被引用 5

一句话总结

本文提出了一种名为双曲Busemann学习的新方法，将类别原型定位在双曲空间Poincaré球模型的理想边界上，无需依赖预先的层次知识。该方法提出了一种惩罚性Busemann损失函数，用于计算样本嵌入与理想原型之间的接近度，在图像和视频分类基准上实现了最先进性能，同时自然地将接近边界解释为分类置信度。

ABSTRACT

Hyperbolic space has become a popular choice of manifold for representation learning of various datatypes from tree-like structures and text to graphs. Building on the success of deep learning with prototypes in Euclidean and hyperspherical spaces, a few recent works have proposed hyperbolic prototypes for classification. Such approaches enable effective learning in low-dimensional output spaces and can exploit hierarchical relations amongst classes, but require privileged information about class labels to position the hyperbolic prototypes. In this work, we propose Hyperbolic Busemann Learning. The main idea behind our approach is to position prototypes on the ideal boundary of the Poincaré ball, which does not require prior label knowledge. To be able to compute proximities to ideal prototypes, we introduce the penalised Busemann loss. We provide theory supporting the use of ideal prototypes and the proposed loss by proving its equivalence to logistic regression in the one-dimensional case. Empirically, we show that our approach provides a natural interpretation of classification confidence, while outperforming recent hyperspherical and hyperbolic prototype approaches.

研究动机与目标

• 解决现有双曲原型方法的局限性，即需要预先的层次知识来定位原型。
• 实现在双曲空间中无需依赖标签层次或外部嵌入的原型学习。
• 提供一种理论基础扎实且实证有效的低维、层次化表示学习方法，具备可解释的置信度分数。
• 通过将理想边界原型与逻辑回归模型结构对齐，推广逻辑回归在双曲空间中的应用。

提出的方法

• 将类别原型定位在Poincaré球模型的理想边界上，该边界在标准双曲度量下位于无穷远处，从而实现无知识初始化。
• 提出惩罚性Busemann损失函数，用于计算双曲空间中样本嵌入与理想边界原型之间的有意义接近度。
• 当存在先验知识时，使用ℓ₂归一化将层次原型投影到理想边界上。
• 在Poincaré球模型中采用标准曲率为1，避免了曲率调优的需要。
• 采用交替优化方案，结合三层MLP进行分类，使用Adam优化器并配合学习率调度。
• 利用其与一维双曲空间中逻辑回归的理论等价性，为模型设计和泛化能力提供理论依据。

实验结果

研究问题

• RQ1 是否可以在不依赖先验标签层次或嵌入信息的前提下，有效将原型定位在双曲空间的理想边界上？
• RQ2 在标准距离发散的条件下，能否设计一种可微分的损失函数来度量双曲嵌入与理想边界原型之间的接近度？
• RQ3 具有理想边界原型的双曲原型模型是否可推广为一维空间中的逻辑回归？其理论依据是什么？
• RQ4 与超球面和双曲原型基线相比，所提方法在准确率和置信度解释方面表现如何？
• RQ5 双曲空间中到理想边界的距离是否可作为分类置信度的自然代理？

主要发现

• 在ActivityNet数据集上，使用层次原型的所提方法实现了70.6%的mAP，优于基线的68.3%。
• 基于角度分离的知识无原型方法在ActivityNet上实现了79.4%的mAP，显著优于基线的68.3%。
• 在Mini-Kinetics数据集上，基于分离的原型方法实现了71.6%的mAP，而基于层次原型的方法在20维空间中实现了65.0%的mAP。
• 惩罚性Busemann损失使得分类置信度具有自然解释：越接近理想边界的嵌入，置信度越低。
• 理论分析证实，该模型在一维双曲空间中等价于逻辑回归，验证了其设计的合理性。
• 在三个数据集上，该方法均优于超球面和双曲原型基线，展现出更优的泛化能力和鲁棒性。