[论文解读] Distribution-Balanced Loss for Multi-Label Classification in Long-Tailed Datasets
引入面向长尾数据的分布平衡损失，用于多标签识别，结合考虑标签共现的再平衡加权与对负样本容忍的正则化，以降低对负样本的过度抑制。
We present a new loss function called Distribution-Balanced Loss for the multi-label recognition problems that exhibit long-tailed class distributions. Compared to conventional single-label classification problem, multi-label recognition problems are often more challenging due to two significant issues, namely the co-occurrence of labels and the dominance of negative labels (when treated as multiple binary classification problems). The Distribution-Balanced Loss tackles these issues through two key modifications to the standard binary cross-entropy loss: 1) a new way to re-balance the weights that takes into account the impact caused by label co-occurrence, and 2) a negative tolerant regularization to mitigate the over-suppression of negative labels. Experiments on both Pascal VOC and COCO show that the models trained with this new loss function achieve significant performance gains over existing methods. Code and models are available at: https://github.com/wutong16/DistributionBalancedLoss .
研究动机与目标
- 在现实世界数据中典型的长尾分布下，激励鲁棒的多标签学习。
- 解决BCE训练中标签共现与负样本主导的问题。
- 提出将再平衡加权与负样本容忍正则化相结合的损失。
- 在标准的长尾多标签基准（VOC-MLT 和 COCO-MLT）上展示性能提升。
提出的方法
- 提出在调整采样概率时考虑标签共现的再平衡加权（Eq. 3–5）。
- 计算类别感知的和实例层面的采样概率，以推导每个实例、每个类别的权重，从而缓解类内不平衡（Eq. 2–3）。
- 提出负样本容忍正则化（NTR），通过对具有类别特定偏置与缩放的BCE进行自适应，防止负样本被过度抑制（Eq. 7）。
- 将再平衡加权与NTR整合为统一的Distribution-Balanced 损失（DB loss），用于端到端训练（Eq. 10）。
- 给出关于再平衡平滑和NTR项的超参数设置建议，并在VOC-MLT与COCO-MLT上进行实证研究。
实验结果
研究问题
- RQ1在考虑标签共现的情况下，如何在多标签长尾设置中对损失进行重新平衡？
- RQ2负样本容忍正则化如何影响BCE 基于多标签训练中尾部类别的学习动力学？
- RQ3将再平衡加权与负样本容忍正则化结合在标准基准上能带来怎样的性能提升？
- RQ4在提升尾部类别的同时，是否保持或改善头部和中部类别的性能？
主要发现
- DB loss 在VOC-MLT和COCO-MLT上对总指标和尾部子类均表现出一致的改进，相较基线有提升。
- 仅使用再平衡加权在总体mAP上有提升，且在与采样结合时对尾部类别尤为有利。
- 负样本容忍正则化通过缓解对负样本的过度抑制，为尾部类别带来显著收益。
- DB-Focal 在进一步提高性能方面表现突出，在所比较的方法中取得最佳综合结果。
- 尾部类别从NTR中获益最明显，而头部类别在仔细的超参数调优下也保持了竞争力。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。