[论文解读] Nested Collaborative Learning for Long-Tailed Visual Recognition

Jun Li, Zichang Tan+3 more|arXiv (Cornell University)|Mar 29, 2022

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

本文提出嵌套协作学习（NCL），一种用于长尾视觉识别的方法，通过嵌套个体学习（NIL）和嵌套平衡在线蒸馏（NBOD）协作训练多个专家，提升模型鲁棒性。通过联合优化完整视角与部分视角学习——通过困难类别挖掘（HCM）聚焦于难以分类的类别——并引入自监督机制，NCL 降低预测不确定性，在长尾基准上实现最先进性能，优于单一模型与集成模型。

ABSTRACT

The networks trained on the long-tailed dataset vary remarkably, despite the same training settings, which shows the great uncertainty in long-tailed learning. To alleviate the uncertainty, we propose a Nested Collaborative Learning (NCL), which tackles the problem by collaboratively learning multiple experts together. NCL consists of two core components, namely Nested Individual Learning (NIL) and Nested Balanced Online Distillation (NBOD), which focus on the individual supervised learning for each single expert and the knowledge transferring among multiple experts, respectively. To learn representations more thoroughly, both NIL and NBOD are formulated in a nested way, in which the learning is conducted on not just all categories from a full perspective but some hard categories from a partial perspective. Regarding the learning in the partial perspective, we specifically select the negative categories with high predicted scores as the hard categories by using a proposed Hard Category Mining (HCM). In the NCL, the learning from two perspectives is nested, highly related and complementary, and helps the network to capture not only global and robust features but also meticulous distinguishing ability. Moreover, self-supervision is further utilized for feature enhancement. Extensive experiments manifest the superiority of our method with outperforming the state-of-the-art whether by using a single model or an ensemble.

研究动机与目标

• 解决在长尾数据集上训练的深度学习模型中预测不确定性高的问题，即相同训练设置下产生显著不同的预测结果。
• 通过多个专家之间的知识协作，减少预测不一致性，特别是针对尾部类别。
• 通过同时从完整视角与部分视角（全局与困难类别特定视角）优化表示学习，提升模型性能。
• 通过集成自监督与平衡蒸馏的嵌套学习框架，增强模型鲁棒性与公平性。
• 在保持单专家推理效率的同时，实现与集成模型相当的性能表现。

提出的方法

• 提出嵌套协作学习（NCL）框架，以协作方式训练多个专家，使每个专家既能作为教师也能作为学生。
• 引入嵌套个体学习（NIL），在所有类别（完整视角）和困难类别（部分视角）上进行监督学习，其中困难类别通过困难类别挖掘（HCM）识别。
• 设计嵌套平衡在线蒸馏（NBOD），一种知识蒸馏机制，对所有类别与困难类别均应用平衡概率蒸馏，提升泛化能力并降低不确定性。
• 实施困难类别挖掘（HCM），识别出高预测分数的非真实类别（即困难负样本），作为聚焦学习的关键目标。
• 通过每个专家的移动平均模型引入自监督机制，以无监督方式增强特征学习。
• 以嵌套方式构建 NIL 与 NBOD，使完整视角与部分视角学习相互依赖、互为补充。

实验结果

研究问题

• RQ1 多个专家之间的协作学习是否能降低在长尾数据集上训练模型所观察到的预测不确定性？
• RQ2 通过部分视角聚焦于难以分类的类别，是否能提升模型泛化能力与尾部类别准确率？
• RQ3 与标准训练相比，同时优化完整与部分视角的嵌套学习在多大程度上增强表示学习？
• RQ4 在长尾设置下，在专家之间进行在线、平衡蒸馏是否优于离线蒸馏或标准知识蒸馏？
• RQ5 使用 NCL 训练的单个专家是否能实现与集成模型相当的性能，同时保持推理效率？

主要发现

• 在 CIFAR100-LT（不平衡因子为 100）上，NCL 使用单个专家实现 51.04% 的 top-1 准确率，使用集成模型达到 54.42%，优于最先进方法。
• 应用 NCL 后，模型预测之间的 KL 散度显著降低，表明不确定性减少，模型间预测更加一致。
• 困难类别挖掘（HCM）能有效识别出高分负样本，聚焦学习这些样本使性能相比基线方法提升 1.5%。
• 与非平衡蒸馏相比，NBOD 采用平衡概率蒸馏使性能提升约 1%，证明在长尾学习中概率校准的重要性。
• 在线蒸馏通过 NBOD 比离线蒸馏高出 1.5%，表明持续的协作学习比静态知识迁移更有效。
• 自监督机制有助于特征增强，消融实验证实其对整体准确率与鲁棒性的积极影响。