[论文解读] ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot

Jiarui Cai, Yizhou Wang+1 more|arXiv (Cornell University)|Aug 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 35被引用 11

一句话总结

ACE 提出了一种单阶段、端到端的多专家框架，用于长尾图像识别，通过在重叠且不平衡的子集上训练专业化专家，实现互补知识学习。通过使用分布自适应优化器和互补损失，ACE 打破了传统的‘锯齿状’权衡，同时提升了头部和尾部类别的准确率，在 CIFAR10-LT、CIFAR100-LT、ImageNet-LT 和 iNaturalist 上相比当前最先进的一阶段方法实现了 3–10% 的性能提升。

ABSTRACT

One-stage long-tailed recognition methods improve the overall performance in a "seesaw" manner, i.e., either sacrifice the head's accuracy for better tail classification or elevate the head's accuracy even higher but ignore the tail. Existing algorithms bypass such trade-off by a multi-stage training process: pre-training on imbalanced set and fine-tuning on balanced set. Though achieving promising performance, not only are they sensitive to the generalizability of the pre-trained model, but also not easily integrated into other computer vision tasks like detection and segmentation, where pre-training of classifiers solely is not applicable. In this paper, we propose a one-stage long-tailed recognition scheme, ally complementary experts (ACE), where the expert is the most knowledgeable specialist in a sub-set that dominates its training, and is complementary to other experts in the less-seen categories without being disturbed by what it has never seen. We design a distribution-adaptive optimizer to adjust the learning pace of each expert to avoid over-fitting. Without special bells and whistles, the vanilla ACE outperforms the current one-stage SOTA method by 3-10% on CIFAR10-LT, CIFAR100-LT, ImageNet-LT and iNaturalist datasets. It is also shown to be the first one to break the "seesaw" trade-off by improving the accuracy of the majority and minority categories simultaneously in only one stage. Code and trained models are at https://github.com/jrcai/ACE.

研究动机与目标

• 为解决单阶段长尾识别中长期存在的‘锯齿状’权衡问题，即提升少数类准确率常会损害多数类性能。
• 消除对需要预训练且难以集成到检测和分割任务中的多阶段训练流程的依赖。
• 设计一种单阶段、端到端的框架，使专家能够在其主导子集上专业化，同时在重叠的、较少见的类别中保持互补性。
• 开发一种分布自适应优化器，根据每个专家的训练集大小动态调整学习率，以防止过拟合。
• 在无需预训练或分阶段训练的情况下，实现在长尾基准上的最先进性能。

提出的方法

• ACE 采用多专家架构，每个专家在长尾数据集中不同的重叠子集上进行训练，从而在主导类别上实现专业化。
• 专家共享一个公共主干网络，并通过互补损失在并行训练中鼓励在共享类别划分上的联合决策。
• 分布自适应优化器根据每个专家的训练集大小缩放其学习率，采用线性或平方根调度策略，以平衡收敛速度并防止过拟合。
• 所有专家的输出按数据划分进行重新缩放并平均，以生成最终预测，缩放操作有助于保持头部类别的准确率。
• 模型从零开始端到端训练，无需预训练，可直接集成到检测和分割等其他视觉任务中。
• 应用 Mixup 数据增强，超参数 $α$ 经调优以提升鲁棒性，同时对整体准确率影响较小。

实验结果

研究问题

• RQ1 单阶段识别框架能否在长尾数据集中同时提升头部和尾部类别的准确率，打破‘锯齿状’权衡？
• RQ2 如何设计多专家模型，使其在主导子集中专业化，同时在重叠的、较少见的类别中保持互补性？
• RQ3 何种优化策略能有效训练高度不平衡数据分布的专家，而不会导致过拟合？
• RQ4 分布自适应学习率调度能否在单次训练阶段内提升所有类别频率划分的性能？
• RQ5 是否可能在无需多阶段训练或预训练的情况下，实现在长尾识别中的最先进性能？

主要发现

• ACE 在 CIFAR10-LT、CIFAR100-LT、ImageNet-LT 和 iNaturalist2018 基准上，相比当前最先进的一阶段方法，实现了 3–10% 的绝对准确率提升。
• 在 CIFAR100-LT-100 上，ACE 在所有类别上达到 49.4% 的 top-1 准确率，多张量类为 66.1%，中张量类为 55.7%，少张量类为 23.5%，优于所有基线模型。
• 采用线性缩放的分布自适应优化器（$\eta_i^{\text{linear}}$）相比平方根或均匀缩放，性能更优，尤其在中张量和少张量划分中表现更佳。
• 使用缩放的组平均聚合（ACE）优于组最大值、拼接和未缩放平均，有效保持头部类别准确率并降低过自信现象。
• Mixup 增强使用 $\alpha = 0.3$ 时表现最佳，尽管其影响相对适中，表明对超参数选择具有鲁棒性。
• ACE 是首个在无需牺牲多数类性能的前提下，同时提升所有三类频率划分（多、中、少）准确率的单阶段方法。