[论文解读] FASA: Feature Augmentation and Sampling Adaptation for Long-Tailed Instance Segmentation

Yuhang Zang, Chen Huang+1 more|arXiv (Cornell University)|Feb 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用 6

一句话总结

FASA 是一种即插即用的长尾实例分割方法，通过自适应特征增强和损失引导的虚拟特征采样，提升罕见类别性能。在 LVIS v1.0 上，仅增加 3% 训练时间，FASA 在罕见类别上将掩码 AP 提升 9.0%，优于最先进方法，且无需复杂损失设计或迁移学习。

ABSTRACT

Recent methods for long-tailed instance segmentation still struggle on rare object classes with few training data. We propose a simple yet effective method, Feature Augmentation and Sampling Adaptation (FASA), that addresses the data scarcity issue by augmenting the feature space especially for rare classes. Both the Feature Augmentation (FA) and feature sampling components are adaptive to the actual training status -- FA is informed by the feature mean and variance of observed real samples from past iterations, and we sample the generated virtual features in a loss-adapted manner to avoid over-fitting. FASA does not require any elaborate loss design, and removes the need for inter-class transfer learning that often involves large cost and manually-defined head/tail class groups. We show FASA is a fast, generic method that can be easily plugged into standard or long-tailed segmentation frameworks, with consistent performance gains and little added cost. FASA is also applicable to other tasks like long-tailed classification with state-of-the-art performance.

研究动机与目标

• 解决深度模型在长尾实例分割中罕见类别上的性能下降问题。
• 在不依赖复杂损失设计或类别间迁移学习的前提下，克服罕见类别数据稀缺问题。
• 开发一种通用、高效的插件式方法，可轻松集成至现有分割框架。
• 确保在不同主干网络、数据采样策略和损失函数下均实现一致的性能提升。
• 证明该方法在其他长尾任务（如图像分类）中的泛化能力。

提出的方法

• 通过利用过去迭代中真实特征统计信息提供的分布先验，在线生成类别特定的虚拟特征，实现特征增强。
• 从观测到的真实样本中计算特征均值与方差，自适应地建模类别特定的特征分布。
• 采用损失自适应采样：当虚拟特征改善验证损失时增加其采样概率，否则降低以防止过拟合。
• 通过仅操作虚拟特征来保持方法简洁，避免修改真实数据或模型架构。
• 采用即插即用设计，无论现有方法采用何种重采样或损失策略，均可无缝集成。
• 根据模型性能反馈动态调整采样密度，确保鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 仅通过特征增强是否能显著提升长尾实例分割中罕见类别的性能？
• RQ2 如何在训练过程中自适应调整虚拟特征采样，以在提升罕见类别性能的同时避免过拟合？
• RQ3 一种简单、通用的方法能否在长尾实例分割中超越复杂、任务特定的损失设计？
• RQ4 所提出方法是否可泛化至实例分割以外的其他长尾视觉任务？
• RQ5 与最先进方法相比，该方法的训练效率成本如何？

主要发现

• 在 LVIS v1.0 上，FASA 将 Mask R-CNN 在罕见类别上的掩码 AP 提升 9.0%，整体提升 3.3%，训练时间仅增加 3%。
• 在 COCO-LT 上，FASA 实现 23.4% 的掩码 AP，整体掩码 AP 超过此前最先进方法 SimCal 1.6%，罕见类别上提升 13.5%。
• 在 LVIS v1.0 上，FASA 将近期基于损失的方法（EQL）在罕见类别上提升 10.3%，整体提升 2.3%。
• 在 CIFAR-LT-100 上，FASA 使用 De-confound-TDE 实现 45.2% 的 top-1 准确率，较基线提升 1.1%，优于 M2M 和 Chu et al. 方法。
• FASA 比 M2M 和 Chu et al. 更高效，因其避免了预训练步骤并支持在线运行。
• 该方法泛化能力强，在不同主干网络、学习率调度和数据采样策略下均实现一致的性能增益。