[论文解读] Feature Space Augmentation for Long-Tailed Data

Peng Chu, Xiao Bian+2 more|arXiv (Cornell University)|Aug 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用 13

一句话总结

本文提出特征空间增强（FSA），一种通过在深度特征空间中融合低频类（尾部类）的类别特定特征与高频类（头部类）的类别通用特征，生成长尾数据合成样本的方法。通过利用类别激活图在深层网络层分离并重组特征，FSA 改进了模型在尾部类上的泛化能力，在 CIFAR-LT、ImageNet-LT、Places-LT 和 iNaturalist 数据集上均实现了最先进性能。

ABSTRACT

Real-world data often follow a long-tailed distribution as the frequency of each class is typically different. For example, a dataset can have a large number of under-represented classes and a few classes with more than sufficient data. However, a model to represent the dataset is usually expected to have reasonably homogeneous performances across classes. Introducing class-balanced loss and advanced methods on data re-sampling and augmentation are among the best practices to alleviate the data imbalance problem. However, the other part of the problem about the under-represented classes will have to rely on additional knowledge to recover the missing information. In this work, we present a novel approach to address the long-tailed problem by augmenting the under-represented classes in the feature space with the features learned from the classes with ample samples. In particular, we decompose the features of each class into a class-generic component and a class-specific component using class activation maps. Novel samples of under-represented classes are then generated on the fly during training stages by fusing the class-specific features from the under-represented classes with the class-generic features from confusing classes. Our results on different datasets such as iNaturalist, ImageNet-LT, Places-LT and a long-tailed version of CIFAR have shown the state of the art performances.

研究动机与目标

• 解决深度学习模型在长尾数据集上因尾部类别训练样本不足而导致的性能下降问题。
• 克服传统数据增强和类别平衡损失函数在尾部类别严重欠采样时的局限性。
• 通过特征空间操作，利用头部类知识恢复尾部类缺失的分布信息。
• 开发一个端到端训练流程，在训练过程中于高层特征空间生成新颖且逼真的样本。

提出的方法

• 使用类别激活图（CAM）将每种类别的深度特征分解为类别通用和类别特定两部分。
• 对于每个尾部类样本，通过将其类别特定特征与混淆头部类的类别通用特征混合，增强其高层特征。
• 在高层特征空间（最后一个残差块之后）执行特征融合，以保留空间结构并受益于线性表示。
• 采用两阶段训练策略：先使用均衡采样进行预训练，再通过在线特征空间增强样本进行微调。
• 基于比例阈值（hr ≥ 0.9）动态选择头部类，以确保充足的通用特征表示。
• 在 ResNet 的第四残差块后执行增强，以最小化空间噪声并最大化线性特征的效用。

实验结果

研究问题

• RQ1 头部类的类别通用特征能否有效恢复低频类别中缺失的分布信息？
• RQ2 在深层特征空间中融合尾部类的类别特定特征与头部类的通用特征，能否生成有意义且可泛化的样本？
• RQ3 头部类比例（hr）的选择如何影响尾部类别泛化性能？
• RQ4 在哪个网络深度进行特征空间增强对长尾学习最有效？
• RQ5 该方法能否在真实世界长尾数据集上超越现有最先进方法（如类别平衡损失和焦点损失）？

主要发现

• 在 iNaturalist 2017 上，所提方法使用 ResNet-152 达到了 66.58% 的 top-1 准确率，超过此前最先进方法（使用类别平衡损失）的 64.75%。
• 在 iNaturalist 2018 上，该方法使用 ResNet-152 达到了 69.08% 的 top-1 准确率，优于先前最先进方法的 66.97%。
• 在各数据集上，最优头部类比例（hr）约为 0.95，该值在保证充分通用特征提取的同时，也实现了足够的尾部类覆盖。
• 在第四残差块后进行特征增强可获得最高性能，因其最小化了空间噪声并充分利用了高层特征的线性特性。
• 消融实验证实，特征空间增强显著提升了尾部类性能，相较于基线和无增强设置均有明显性能提升。