[论文解读] ELM: Embedding and Logit Margins for Long-Tail Learning

Wittawat Jitkrittum, Aditya Krishna Menon+2 more|arXiv (Cornell University)|Apr 27, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

ELM 提出了一种统一框架，通过同时施加嵌入空间和logit空间的边界，以改善类别不平衡设定下的长尾学习。通过正则化类别嵌入的几何结构，并在logit空间中应用非对称边界，ELM 实现了更紧密、更紧凑的嵌入——尤其是对尾部类别——从而提升了泛化能力，并在 CIFAR100-LT 和 iNaturalist 等长尾基准上取得了最先进性能。

ABSTRACT

Long-tail learning is the problem of learning under skewed label distributions, which pose a challenge for standard learners. Several recent approaches for the problem have proposed enforcing a suitable margin in logit space. Such techniques are intuitive analogues of the guiding principle behind SVMs, and are equally applicable to linear models and neural models. However, when applied to neural models, such techniques do not explicitly control the geometry of the learned embeddings. This can be potentially sub-optimal, since embeddings for tail classes may be diffuse, resulting in poor generalization for these classes. We present Embedding and Logit Margins (ELM), a unified approach to enforce margins in logit space, and regularize the distribution of embeddings. This connects losses for long-tail learning to proposals in the literature on metric embedding, and contrastive learning. We theoretically show that minimising the proposed ELM objective helps reduce the generalisation gap. The ELM method is shown to perform well empirically, and results in tighter tail class embeddings.

研究动机与目标

• 解决长尾学习中因训练样本不足而导致的罕见（尾部）类别泛化能力差的问题。
• 克服现有logit边界方法无法控制学习嵌入几何分布的局限性。
• 统一度量学习与对比学习的原则，以同时正则化嵌入紧凑性和logit分离性。
• 从理论上和实证上证明，联合施加嵌入边界和logit边界正则化，可更优地逼近贝叶斯最优分类器。
• 在不显著降低主导类别性能的前提下，提升头部、躯干和尾部类别组的整体性能，尤其在 iNaturalist 等具有挑战性的数据集上表现优异。

提出的方法

• 提出一种联合目标函数，结合logit边界损失（受SVM启发）和嵌入边界损失（受度量学习启发），以实现类间分离和类内紧凑。
• 引入基于边界的嵌入正则化项，最小化最大类内距离，以促进同一类别样本的更紧密聚类。
• 在logit空间中采用对称边界策略，增大正确类别与最高分错误类别之间的边界，尤其有利于稀有类别。
• 将ELM目标函数表述为交叉熵损失、logit边界惩罚项和嵌入边界惩罚项的组合，通过超参数平衡三者。
• 将方法应用于线性模型和深度神经网络，证明其与标准训练流程的兼容性。
• 借助理论分析表明，ELM 通过促进更接近高斯分布的类条件分布，改善了对贝叶斯分类器的逼近。

实验结果

研究问题

• RQ1 能否同时在logit空间和嵌入空间施加边界，以提升长尾学习中的泛化能力？
• RQ2 对学习嵌入的几何结构进行正则化，是否能相比标准logit边界方法，使尾部类别的聚类更紧密、更紧凑？
• RQ3 ELM 在类别不平衡数据集中，能在多大程度上缩小头部与尾部类别之间的泛化差距？
• RQ4 ELM 是否能在不降低头部类别性能的前提下，提升尾部和躯干类别性能，尤其在真实世界基准上？
• RQ5 与 LogAdj、DRO-LT 和类别平衡损失等现有方法相比，ELM 在边界分布和嵌入紧凑性方面表现如何？

主要发现

• ELM 显著降低了尾部类别的logit边界方差，与交叉熵和LogAdj相比，边界分布的众数更占优势。
• 在 CIFAR100-LT 上，ELM 在躯干组和尾部组的准确率均高于 LogAdj 和交叉熵，且头部类别性能无下降。
• 在 iNaturalist 上，ELM 在所有类别组中均提升了准确率，包括头部组，表明其避免了典型的头部-尾部权衡。
• t-SNE 可视化显示，与 LogAdj 和 DRO-LT 相比，ELM 生成的嵌入更紧凑且更易分离，尤其在尾部类别上表现更优。
• ELM 下的最大类内嵌入距离显著减小，证实了更紧密的聚类；而 DRO-LT 由于对比正则化，反而增加了这些距离。
• 理论分析表明，ELM 通过促进更接近高斯分布的类条件分布，能更优地逼近贝叶斯最优分类器。