[论文解读] Joint Optimization Framework for Learning with Noisy Labels
本论文提出对CNN参数和真实标签的联合优化，以在带噪声的标注数据上进行学习，利用交替更新和软标签在CIFAR-10（有噪声）和Clothing1M数据集上超过现有方法。
Deep neural networks (DNNs) trained on large-scale datasets have exhibited significant performance in image classification. Many large-scale datasets are collected from websites, however they tend to contain inaccurate labels that are termed as noisy labels. Training on such noisy labeled datasets causes performance degradation because DNNs easily overfit to noisy labels. To overcome this problem, we propose a joint optimization framework of learning DNN parameters and estimating true labels. Our framework can correct labels during training by alternating update of network parameters and labels. We conduct experiments on the noisy CIFAR-10 datasets and the Clothing1M dataset. The results indicate that our approach significantly outperforms other state-of-the-art methods.
研究动机与目标
- 在包含来自网络来源的噪声标签的大规模数据集上训练DNN的动机。
- 开发一个框架，通过联合优化参数和标签来避免对噪声标签的记忆化。
- 证明较高的学习率有助于防止对噪声的记忆化并提高鲁棒性。
- 在合成数据集（SN-CIFAR、AN-CIFAR、PL-CIFAR）和真实数据集（Clothing1M）上评估所提出的框架的表现。
提出的方法
- 定义一个联合目标，优化网络参数 θ 和标签矩阵 Y，以最小化 L(θ, Y | X)，该目标由三项组成：Lc（标签与预测之间的 KL 散度）、Lp（强制实现类别先验 p 的正则化）、Le（基于熵的正则化）。
- 使用交替优化：在保持 Y 固定的同时，对 L(θ, Y|X) 进行 SGD 更新来更新 θ；然后对每个样本按硬标签或软标签更新 Y，其中软标签表现更好。
- 采用软标签更新 y_i = s(θ, x_i) 并使用先验 p（实验中对 CIFAR-10 为均匀分布）以防止退化解。
- 利用高学习率以减少对噪声标签的记忆化，并在实验中观察到依赖于 lr 的不同记忆化动态。
- 引入一个熵项 Le，使软标签分布保持足够尖锐，以聚焦于单一类别。
- 进行两步训练过程：先更新标签，然后在获得的标签上训练网络。
实验结果
研究问题
- RQ1网络参数和标签的联合优化是否能缓解 DNN 对噪声标签的记忆化？
- RQ2使用软标签更新是否在恢复干净标签和提升测试准确度方面优于硬标签更新？
- RQ3学习率选择如何影响在有噪声监督下对噪声标签的记忆化及整体性能？
- RQ4所提出的方法在合成的带噪声 CIFAR-10 变体和真实世界数据 Clothing1M 上的表现如何？
- RQ5正则化项 Lp 和 Le 对防止退化标签分配以及促进鲁棒学习有何影响？
主要发现
- 所提出的联合优化框架在 SN-CIFAR 上实现了行业领先的结果，在 Clothing1M 上的表现也与现有方法相比具有竞争力。
- 软标签更新在利用预测置信度方面优于硬标签更新，实现更快的收敛和更高的测试准确率。
- 较高的学习率有助于防止对噪声标签的记忆化，训练过程中延迟或避免对噪声的拟合。
- 两步训练过程（标签优化后再进行标准监督训练）提高了对标签噪声的鲁棒性。
- 使用类别先验 KL 项和熵项的正则化稳定了标签更新，防止收敛到单一类别。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。