[论文解读] Meta Feature Modulator for Long-tailed Recognition

Renzhen Wang, Kaiqin Hu+4 more|arXiv (Cornell University)|Aug 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用 7

一句话总结

该论文提出元特征调制器（MFM），一种元学习框架，通过可学习的调制参数自适应地调节深度网络的中间特征，以提升长尾识别性能。在小型平衡元数据集的引导下，MFM 在不改变网络结构的前提下增强了特征的表征能力，在多个基准数据集（包括CIFAR-10、Fashion-MNIST和MIT-67场景数据集）上实现了最先进性能。

ABSTRACT

Deep neural networks often degrade significantly when training data suffer from class imbalance problems. Existing approaches, e.g., re-sampling and re-weighting, commonly address this issue by rearranging the label distribution of training data to train the networks fitting well to the implicit balanced label distribution. However, most of them hinder the representative ability of learned features due to insufficient use of intra/inter-sample information of training data. To address this issue, we propose meta feature modulator (MFM), a meta-learning framework to model the difference between the long-tailed training data and the balanced meta data from the perspective of representation learning. Concretely, we employ learnable hyper-parameters (dubbed modulation parameters) to adaptively scale and shift the intermediate features of classification networks, and the modulation parameters are optimized together with the classification network parameters guided by a small amount of balanced meta data. We further design a modulator network to guide the generation of the modulation parameters, and such a meta-learner can be readily adapted to train the classification network on other long-tailed datasets. Extensive experiments on benchmark vision datasets substantiate the superiority of our approach on long-tailed recognition tasks beyond other state-of-the-art methods.

研究动机与目标

• 解决真实视觉识别中因长尾数据分布导致的深度网络性能退化问题。
• 克服现有重采样和重加权方法因过度依赖样本内和样本间信息不足而损害特征表征能力的局限性。
• 开发一种元学习框架，使分类网络即使在类别不平衡数据上进行训练，也能在平衡标签分布下实现良好泛化。
• 设计一个可迁移的调制器网络，可在无需从头训练的情况下适配不同长尾数据集。
• 实现标准网络的端到端训练，仅需极少的网络结构修改，同时提升尾部类别性能。

提出的方法

• 引入可学习的调制参数，在训练过程中对分类网络的中间特征进行通道级缩放与偏移。
• 在小型平衡元数据集上，通过经验风险最小化联合优化分类网络与调制参数。
• 设计一个调制器网络，根据输入特征和软标签生成调制参数，实现自适应、上下文感知的特征调制。
• 通过在平衡数据上最小化元损失来训练调制器网络，使其隐式学习如何重新平衡各类别的贡献。
• 将元学习得到的调制器直接应用于长尾数据集，无需进一步微调，实现调制器在不同数据集间的迁移。
• 通过移除调制器开关确保推理阶段高效，避免测试时引入条件计算。

实验结果

研究问题

• RQ1 元学习的特征调制是否能在不修改网络结构的前提下提升长尾识别中的表征学习能力？
• RQ2 在某一长尾数据集上训练的调制器网络是否能泛化到具有不同长尾程度的其他数据集？
• RQ3 所提方法是否能在保持特征表征能力的同时，超越现有的重采样与重加权基线方法？
• RQ4 在极端长尾分布下，调制器网络在所有类别（包括尾部类别）中维持平衡偏好能力有多强？
• RQ5 预训练的调制器在不同类别不平衡程度的数据集之间迁移的潜力有多大？

主要发现

• 在长尾CIFAR-10（长尾因子为100）上，MFM将top-1错误率降低至12.12%（基线模型为14.01%），表现显著提升。
• 在Fashion-MNIST（长尾因子为200）上，从CIFAR-10迁移而来的调制器达到13.89%的错误率，优于基线模型（16.12%），并接近全微调调制器的性能。
• 在MIT-67场景识别任务上，MFM实现top-1错误率为24.63%，优于基线模型（28.54%）及所有对比方法，包括CB和MW-Net等最先进方法。
• 引入残差连接（WH-layer）后，MFM在MIT-67上的错误率进一步降低至24.20%，表明网络结构整合可进一步提升性能。
• 迁移实验表明，一个在某数据集上训练的调制器能良好泛化到另一数据集，即使其长尾程度不同，显示出强大的鲁棒性与可迁移性。
• 该方法通过移除条件计算，保持了高效的推理过程，而无需依赖条件批归一化或注意力模块等机制。