[论文解读] Long-Tailed Recognition by Mutual Information Maximization between Latent Features and Ground-Truth Labels

Min-Kook Suh, Seung‐Woo Seo|arXiv (Cornell University)|May 2, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种新颖的损失函数——高斯混合似然（Gaussian Mixture Likelihood, GML），通过最大化潜在特征与真实标签之间的互信息来解决长尾识别问题。通过使用类别的队列和教师-学生框架对类别条件似然进行核密度估计，该方法无缝整合了对比学习与logit调整，实现在ImageNet-LT、iNaturalist 2018、CIFAR-LT以及ADE20K语义分割基准上的最先进性能。

ABSTRACT

Although contrastive learning methods have shown prevailing performance on a variety of representation learning tasks, they encounter difficulty when the training dataset is long-tailed. Many researchers have combined contrastive learning and a logit adjustment technique to address this problem, but the combinations are done ad-hoc and a theoretical background has not yet been provided. The goal of this paper is to provide the background and further improve the performance. First, we show that the fundamental reason contrastive learning methods struggle with long-tailed tasks is that they try to maximize the mutual information maximization between latent features and input data. As ground-truth labels are not considered in the maximization, they are not able to address imbalances between class labels. Rather, we interpret the long-tailed recognition task as a mutual information maximization between latent features and ground-truth labels. This approach integrates contrastive learning and logit adjustment seamlessly to derive a loss function that shows state-of-the-art performance on long-tailed recognition benchmarks. It also demonstrates its efficacy in image segmentation tasks, verifying its versatility beyond image classification.

研究动机与目标

• 解决对比学习在类别频率不平衡的数据集上表现不佳的问题。
• 为对比学习与logit调整的结合提供理论基础，弥补以往方法的不足。
• 构建一个统一框架，通过最大化潜在特征与真实标签之间的互信息，整合对比学习与logit调整。
• 验证该方法在图像分类之外的泛化能力，包括在标签分布不平衡的语义分割任务中的有效性。
• 设计一种高效且可扩展的方法，用于建模低频尾部类别上的高斯混合似然。

提出的方法

• 将长尾识别问题重新表述为最大化潜在特征与真实标签之间的互信息，而非特征与输入数据之间的互信息。
• 推导出一种通用损失函数GML，由似然项（通过高斯核密度估计估计）和基于类别频率的logit调整先验项组成。
• 使用多个类别专属队列而非单个队列来存储对比样本，从而提升对尾部类别的表征学习能力。
• 实施教师-学生蒸馏策略，其中预训练的教师网络为训练生成高质量、实时更新的对比样本。
• 引入可学习的温度参数τg，以自适应地缩放logits，提升优化稳定性和性能。
• 将GML损失应用于图像分类与语义分割任务，仅通过最小的网络架构修改替换标准交叉熵损失。

实验结果

研究问题

• RQ1 为何对比学习方法在长尾数据集上表现不佳，尽管其在平衡数据上表现优异？
• RQ2 对比学习与logit调整的结合能否获得理论支持，而非仅依赖经验调参？
• RQ3 在类别不平衡设置下，如何有效优化特征与标签之间互信息的最大化？
• RQ4 所提方法是否能泛化至图像分类之外的任务，如具有长尾标签分布的语义分割？
• RQ5 通过类别专属队列与教师-学生框架进行核密度估计建模类别条件似然，其影响如何？

主要发现

• 所提出的GML损失在ImageNet-LT上实现了最先进性能，top-1与top-5准确率均显著超越先前方法。
• 在iNaturalist 2018上，该方法达到85.1%的top-1准确率，较之前SOTA方法高出超过2个百分点。
• 在CIFAR-LT上，该方法达到74.8%的top-1准确率，展现出在不同长尾基准上的强大泛化能力。
• 在ADE20K语义分割中，mIoU从交叉熵损失的36.1提升至38.1，mAcc从45.4提升至51.4，显示出优异的迁移能力。
• logit调整的最优超参数α在α=0.2时使mIoU最优，在α=1.0时使mAcc最优，证实了头部与尾部类别性能之间的权衡。
• 训练温度τg可带来轻微但一致的性能提升，在ADE20K上将mAcc从58.2提升至58.3。