[论文解读] Balanced Meta-Softmax for Long-Tailed Visual Recognition

Jiawei Ren, Cunjun Yu+5 more|arXiv (Cornell University)|Jul 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 38被引用 317

一句话总结

BALMS 引入 Balanced Softmax 和 Meta Sampler，以解决长尾视觉识别中的标签分布偏移，在包括 LVIS 在内的多个数据集上取得了最先进的结果。

ABSTRACT

Deep classifiers have achieved great success in visual recognition. However, real-world data is long-tailed by nature, leading to the mismatch between training and testing distributions. In this paper, we show that the Softmax function, though used in most classification tasks, gives a biased gradient estimation under the long-tailed setup. This paper presents Balanced Softmax, an elegant unbiased extension of Softmax, to accommodate the label distribution shift between training and testing. Theoretically, we derive the generalization bound for multiclass Softmax regression and show our loss minimizes the bound. In addition, we introduce Balanced Meta-Softmax, applying a complementary Meta Sampler to estimate the optimal class sample rate and further improve long-tailed learning. In our experiments, we demonstrate that Balanced Meta-Softmax outperforms state-of-the-art long-tailed classification solutions on both visual recognition and instance segmentation tasks.

研究动机与目标

• 动机并分析在长尾数据下标准 Softmax 为何存在偏差，以及这如何损害泛化。
• 将 Balanced Softmax 发展为一个无偏见的扩展，考虑训练-测试标签分布的变化。
• 引入 Meta Sampler，以学习有效的重采样并缓解高度不平衡数据中的优化问题。
• 在多种长尾数据集上的图像分类和实例分割任务中展示经验改进。

提出的方法

• 通过对测试时的平衡分布和不平衡的训练分布进行建模并给出相应的交叉熵损失来推导 Balanced Softmax。
• 证明优化 Balanced Softmax 交叉熵会使多类 Softmax 回归的泛化误差界更小。
• 提出 Balanced Softmax 作为 ϟ lhat() = -log(n_y e^{ta_y} / sum_i n_i e^{ta_i}) 的形式，以将类别频率 n_j 纳入其中。
• 引入 Meta Sampler 以通过带元集监督的内部循环优化的双层元学习目标来学习类别级采样率。
• 使用 Gumbel-Softmax 重参数化在训练期间实现可微分采样。
• 演示 Meta Sampler 与 CBS（class-balanced sampling）协同使用，以避免过度平衡并改善优化。

实验结果

研究问题

• RQ1 Balanced Softmax 能否纠正由不平衡标签分布引起的标准 Softmax 偏差？
• RQ2 优化 Balanced Softmax 交叉熵是否能对平衡测试集上的泛化误差给出界？
• RQ3 一个可学习的重采样策略（Meta Sampler）能否在极度不平衡的数据集上进一步提升性能？
• RQ4 BALMS 的各组件是否在长尾图像分类和实例分割数据集上实现了最先进的结果？

主要发现

• Balanced Softmax 在不平衡因子下相较于标准 Softmax 及其他损失提供了更稳定、更加平衡的边缘似然 p(y)。
• BALMS 在 CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、Places-LT 和 LVIS 上超过了最先进的端到端和解耦训练方法。
• Meta Sampler 缓解 CBS 在高度不平衡情形下的过度平衡问题，并在较大不平衡因子下带来额外提升。
• 在 LVIS 上，BALMS 相较于多种基线（包括平衡 Softmax 变体和其他损失函数）实现了最佳的平均精度（AP）。
• 将 Balanced Softmax 与 Meta Sampler 和解耦训练结合，在多个基准上取得最强结果。