[论文解读] ELF: An Early-Exiting Framework for Long-Tailed Classification

Rahul Duggal, Scott Freitas+3 more|arXiv (Cornell University)|Jun 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用 16

一句话总结

ELF 提出了一种新颖的早退出框架，通过在训练过程中学习样本难度，改进长尾分类任务。该方法利用辅助分类器分支，将简单样本引导至早期退出，从而将模型注意力集中于更难的样本。该方法在 ImageNet LT 和 iNaturalist’18 上将准确率提升超过 3%，并减少高达 20% 的推理 FLOPS，同时支持在可变计算预算下实现动态模型选择。

ABSTRACT

The natural world often follows a long-tailed data distribution where only a few classes account for most of the examples. This long-tail causes classifiers to overfit to the majority class. To mitigate this, prior solutions commonly adopt class rebalancing strategies such as data resampling and loss reshaping. However, by treating each example within a class equally, these methods fail to account for the important notion of example hardness, i.e., within each class some examples are easier to classify than others. To incorporate this notion of hardness into the learning process, we propose the EarLy-exiting Framework(ELF). During training, ELF learns to early-exit easy examples through auxiliary branches attached to a backbone network. This offers a dual benefit-(1) the neural network increasingly focuses on hard examples, since they contribute more to the overall network loss; and (2) it frees up additional model capacity to distinguish difficult examples. Experimental results on two large-scale datasets, ImageNet LT and iNaturalist'18, demonstrate that ELF can improve state-of-the-art accuracy by more than 3 percent. This comes with the additional benefit of reducing up to 20 percent of inference time FLOPS. ELF is complementary to prior work and can naturally integrate with a variety of existing methods to tackle the challenge of long-tailed distributions.

研究动机与目标

• 为解决长尾分类中的泛化差距问题，引入样本难度的概念，而此前的方法忽略了这一点。
• 在不牺牲常见类别准确率的前提下，提升模型在罕见类别上的性能。
• 减少推理阶段的 FLOPS，并在可变计算约束下实现动态模型选择。
• 开发一种与现有类别重平衡技术（如损失重加权和数据重采样）互补的框架。

提出的方法

• ELF 在主干网络中增加多个不同深度的辅助分类器分支（即早退出分支）。
• 在训练过程中，鼓励样本在首个能以高置信度预测的分支处提前退出。
• 对于难以分类的样本（即在早期分支中未能成功退出的样本），其损失更高，并被传递至更深的分支，从而在整体损失中贡献更大。
• 该框架采用多任务训练目标，其中每个退出分支均预测类别标签，最终分支提供主要预测结果。
• 在每个退出点计算损失，未能在早期分支达到高置信度的样本将通过更深的网络层进行反向传播。
• 该方法可自然地与现有的长尾学习技术（如 LDAM、DRW 和焦点损失）结合使用。

实验结果

研究问题

• RQ1 在训练过程中学习样本难度是否能提升长尾分类的泛化能力？
• RQ2 在训练中引入早退出是否能将模型容量更多地分配给更难的样本，并提升对罕见类别的性能？
• RQ3 早退出是否能在保持或提升准确率的同时减少推理阶段的 FLOPS？
• RQ4 在长尾数据集上，ELF 与当前最先进方法相比，在准确率和效率方面表现如何？
• RQ5 ELF 是否能在实际部署中实现针对可变计算预算的实时模型选择？

主要发现

• 在 ImageNet LT 和 iNaturalist’18 上，ELF 将最先进准确率提升超过 3%，与 LDAM 结合时在 iNaturalist’18 上达到 78.1% 的 Top-1 准确率，为最佳结果。
• 与基线模型相比，ELF 在推理阶段最多可减少 20% 的 FLOPS，同时提升准确率。
• 该方法在所有类别频率划分（多类、中类、少类）中均保持或提升准确率，而此前方法常以牺牲常见类别性能为代价。
• 可视化结果表明，早期退出处理更简单、更易区分的样本，而后期退出则处理更困难、更模糊的输入。
• FLOPS 分析表明，ELF 的准确率增益源于对样本难度的感知学习，而非单纯增加模型容量。
• ELF 与现有方法具有互补性：与 LDAM 或 DRW 结合使用时，可一致提升性能且不增加 FLOPS。