[论文解读] Balanced Symmetric Cross Entropy for Large Scale Imbalanced and Noisy Data
本文提出了一种新型损失函数——平衡对称交叉熵（BSCE），用于解决大规模图像分类中的类别不平衡与标签噪声问题。通过结合对称交叉熵与类别平衡加权，BSCE在类别不平衡数据集上提升了泛化性能；当与PNASNet及负样本学习结合时，其在在线测试数据上的平均top-1错误率降至0.1515，优于基线模型。
Deep convolution neural network has attracted many attentions in large-scale visual classification task, and achieves significant performance improvement compared to traditional visual analysis methods. In this paper, we explore many kinds of deep convolution neural network architectures for large-scale product recognition task, which is heavily class-imbalanced and noisy labeled data, making it more challenged. Extensive experiments show that PNASNet achieves best performance among a variety of convolutional architectures. Together with ensemble technology and negative learning loss for noisy labeled data, we further improve the model performance on online test data. Finally, our proposed method achieves 0.1515 mean top-1 error on online test data.
研究动机与目标
- 解决大规模产品识别数据集中严重的类别不平衡与标签噪声问题。
- 提升深度学习模型在具有偏斜与不可靠标注的真实世界大规模视觉分类任务中的性能。
- 开发一种鲁棒的训练目标，以减轻长尾分布与标签噪声带来的负面影响。
- 评估并优化模型架构、损失函数与集成技术，以提升在类别不平衡与标签噪声数据上的泛化能力。
- 在大规模产品识别的在线基准评估中实现最先进性能。
提出的方法
- 提出平衡对称交叉熵（BSCE），一种结合对称交叉熵与类别平衡加权的混合损失函数，用于应对长尾数据分布问题。
- 对每个类别应用类别平衡加权，重新加权损失，以降低高频类别的影响，提升对罕见类别的学习效果。
- 使用对称交叉熵通过最小化交叉熵及其反向形式来稳定训练，增强对标签噪声的鲁棒性。
- 选用PNASNet作为主干网络架构，因其在大规模视觉任务中表现优异。
- 集成负样本学习损失，以进一步减轻训练过程中噪声标签的影响。
- 结合模型集成与所提出的损失函数，以提升泛化能力与测试准确率。
实验结果
研究问题
- RQ1如何设计一种损失函数，以同时解决大规模图像分类中的类别不平衡与标签噪声问题？
- RQ2对称交叉熵结合类别平衡加权对长尾数据集中模型泛化能力有何影响？
- RQ3BSCE、PNASNet与负样本学习的结合能否提升在真实世界、噪声与不平衡基准上的性能？
- RQ4与标准交叉熵及其他损失函数相比，该方法在在线测试集上的top-1错误率表现如何？
- RQ5模型集成在噪声与不平衡环境下在多大程度上增强了BSCE的鲁棒性？
主要发现
- 所提出的平衡对称交叉熵（BSCE）损失在长尾与噪声数据集上显著优于标准交叉熵，显著提升了模型性能。
- 在多种架构中，PNASNet在使用BSCE训练时表现最佳，证明其在大规模视觉任务中的适用性。
- 负样本学习损失的引入进一步降低了噪声标签的影响，提升了测试数据的泛化能力。
- 最终模型结合PNASNet、BSCE与集成技术，在在线测试集上实现了0.1515的平均top-1错误率，达到最先进性能。
- BSCE的对称性成分显著增强了训练稳定性与鲁棒性，尤其在标签噪声环境下表现更优。
- 类别平衡加权有效缓解了高频类别的主导影响，使模型在罕见与低频类别上的学习效果更佳。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。