[论文解读] Deep Representation Learning on Long-tailed Data: A Learnable Embedding Augmentation Perspective

Jialun Liu, Yifan Sun+3 more|arXiv (Cornell University)|Feb 25, 2020

Video Surveillance and Tracking Methods参考文献 52被引用 38

一句话总结

LEAP 通过在尾部样本周围构建特征云，将同类内角度多样性从头部类别转移到尾部类别，从而在长尾数据下提高识别能力，适用于人再识别和人脸识别。它在多个基准数据集上显著优于强基线。

ABSTRACT

This paper considers learning deep features from long-tailed data. We observe that in the deep feature space, the head classes and the tail classes present different distribution patterns. The head classes have a relatively large spatial span, while the tail classes have significantly small spatial span, due to the lack of intra-class diversity. This uneven distribution between head and tail classes distorts the overall feature space, which compromises the discriminative ability of the learned features. Intuitively, we seek to expand the distribution of the tail classes by transferring from the head classes, so as to alleviate the distortion of the feature space. To this end, we propose to construct each feature into a "feature cloud". If a sample belongs to a tail class, the corresponding feature cloud will have relatively large distribution range, in compensation to its lack of diversity. It allows each tail sample to push the samples from other classes far away, recovering the intra-class diversity of tail classes. Extensive experimental evaluations on person re-identification and face recognition tasks confirm the effectiveness of our method.

研究动机与目标

• 激励并解决在长尾类别分布下学习判别性的深度特征的挑战。
• 提出一个可学习的嵌入增强框架，通过从头部类别转移来扩大尾部类别的同类内多样性。
• 建模同类内的角度分布，并构建特征云在训练期间补偿尾部样本。
• 在行人/re-id 与人脸识别基准上评估方法，以证明其相对强基线的有效性。

提出的方法

• 通过特征与类别中心之间的角度来建模同类内特征分布。
• 对每个类别维护并更新一个角度记忆，用以估计高斯角度分布。
• 计算头部类别的角度方差，并通过在每个尾部样本周围构建特征云将其转移。
• 将尾部特征增强定义为从一个分布采样，角度偏移 alpha ~ N(0, sigma_h^2 - sigma_t^2)以扩大尾部空间。
• 将增强与 CosFace 和 ArcFace 损失结合，得到修改后的损失 L3/L4（完整版本）或 L1/L2 作为基线；包括将角度截断到 [0, pi]。
• 提供 Vanilla（头/尾标签）版本和完整版本（无显式头/尾标注）以在没有人工干扰的情况下调整尾部多样性。

实验结果

研究问题

• RQ1 长尾数据在深度嵌入学习中如何扭曲特征空间？
• RQ2 是否可以通过转移从头部类别学习到的同类内角度多样性来补偿尾部类别？
• RQ3 基于特征云的增强在不需要明确头尾标签的情况下，是否提高尾部类别的判别力？
• RQ4 在不同头尾比率下，LEAP 在人脸与人高识别基准上的表现如何？

主要发现

• LEAP 在长尾数据上提升判别能力，在 Market-1501 和 DukeMTMC-reID 上的 Rank-1 和 mAP 均高于强基线。
• 在 Market-1501 与 DukeMTMC-reID 上，LEAP-CF 达到 Market-1501 的 94.4% Rank-1 与 84.2% mAP，以及 DukeMTMC-reID 的 87.8% Rank-1 与 74.2% mAP。
• 在 MSMT17，LEAP-CF 达到 50.8 mAP 与 76.7 Rank-1；LEAP-AF 达到 51.3 mAP 与 76.3 Rank-1。
• Compared to vanilla baselines, LEAP consistently boosts performance across varying head-tail ratios, especially under very severe long-tailed settings (e.g., H20/S3 or H20/S4).
• The full version (no explicit head/tail labeling) achieves results close to or better than the vanilla version, demonstrating robustness to dataset distribution without manual labeling.