[论文解读] Long-tailed Recognition by Routing Diverse Distribution-Aware Experts

Xudong Wang, Long Lian+3 more|arXiv (Cornell University)|Oct 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 38被引用 30

一句话总结

RIDE 引入一个带有共享骨干网络和动态路由模块的多专家模型，以减少长尾识别中的偏差和方差，在 CIFAR100-LT、ImageNet-LT 和 iNaturalist 2018 上实现 5–7% 的提升。

ABSTRACT

Natural data are often long-tail distributed over semantic classes. Existing recognition methods tackle this imbalanced classification by placing more emphasis on the tail data, through class re-balancing/re-weighting or ensembling over different data groups, resulting in increased tail accuracies but reduced head accuracies. We take a dynamic view of the training data and provide a principled model bias and variance analysis as the training data fluctuates: Existing long-tail classifiers invariably increase the model variance and the head-tail model bias gap remains large, due to more and larger confusion with hard negatives for the tail. We propose a new long-tailed classifier called RoutIng Diverse Experts (RIDE). It reduces the model variance with multiple experts, reduces the model bias with a distribution-aware diversity loss, reduces the computational cost with a dynamic expert routing module. RIDE outperforms the state-of-the-art by 5% to 7% on CIFAR100-LT, ImageNet-LT and iNaturalist 2018 benchmarks. It is also a universal framework that is applicable to various backbone networks, long-tailed algorithms, and training mechanisms for consistent performance gains. Our code is available at: https://github.com/frank-xwang/RIDE-LongTailRecognition.

研究动机与目标

• 在训练数据分布波动下，通过偏差-方差分析来驱动对长尾识别的研究。
• 提出一个有原则性的模型，以在长尾分类器中同时减少偏差（特别是尾部偏差）和方差。
• 开发 RoutIng Diverse Experts (RIDE)，具有共享的早期特征、多样化的后期专家分支，以及一个动态路由器。
• 证明 RIDE 在骨干网络上具有普适性，并且与多种长尾损失函数和训练方案兼容。

提出的方法

• 建模一个多专家架构，具有共享的早期层和 n 个降通道的后期分支。
• 用每个专家的分类损失与一个分布感知的多样性损失的组合来训练专家，以促进互补决策。
• 引入一个路由器，仅在需要时动态激活额外的专家，以控制计算量。
• 在推理阶段对活动专家的 logits 使用 softmax 加权平均以产生最终预测。
• 可选地从更高等级的专家模型应用自蒸馏以提升性能。
• 以类别频率相关的类别级温度机制来支撑多样性与路由，以平衡头部/尾部学习。

实验结果

研究问题

• RQ1 在训练数据波动时，如何分析长尾识别中的模型偏差与方差？
• RQ2 在不产生高计算成本的前提下，带有分布感知多样性损失的多专家架构是否能够降低尾部偏差和总体方差？
• RQ3 在多种骨干网络下，专家的动态路由是否能够在 many-shot、medium-shot 和 few-shot 类别中维持或提高准确性？
• RQ4 RIDE 是否是一个普适框架，能够在不同架构上改进现有的长尾损失和训练方案？
• RQ5 相较于最先进方法，RIDE 在 CIFAR100-LT、ImageNet-LT 和 iNaturalist 2018 上的经验提升是多少？

主要发现

• 与 CE 和现有长尾方法相比，RIDE 在所有类别划分上降低了模型方差。
• RIDE 通过分布感知的多样性损失降低尾部偏差，收紧头尾偏差差距。
• RIDE 在 CIFAR100-LT、ImageNet-LT 和 iNaturalist 2018 上的 top-1 准确率比 SOTA 高出 5–7%。
• RIDE 兼容多种骨干网络（ResNet、ResNeXt、Swin Transformer）和损失函数（CE、LDAM、focal 等）。
• 动态路由器实现仅在需要时使用多个专家，将计算成本降至与单一专家相当的水平。
• 消融实验表明，架构、单独损失、多样性损失、路由和蒸馏各自对性能有贡献，完整设置带来最大提升。