[论文解读] Meta Transition Adaptation for Robust Deep Learning with Noisy Labels

Jun Shu, Qian Zhao+2 more|arXiv (Cornell University)|Jun 10, 2020

Machine Learning and Data Classification参考文献 49被引用 22

一句话总结

本文提出了一种元转移适应方法，利用少量干净标签元数据联合优化噪声转移矩阵与分类器，避免了锚点假设，并在标签噪声环境下提升了鲁棒性。该方法实现了统计上一致的转移矩阵估计，在合成数据与真实世界基准测试中均优于SOTA方法，包括无噪声场景。

ABSTRACT

To discover intrinsic inter-class transition probabilities underlying data, learning with noise transition has become an important approach for robust deep learning on corrupted labels. Prior methods attempt to achieve such transition knowledge by pre-assuming strongly confident anchor points with 1-probability belonging to a specific class, generally infeasible in practice, or directly jointly estimating the transition matrix and learning the classifier from the noisy samples, always leading to inaccurate estimation misguided by wrong annotation information especially in large noise cases. To alleviate these issues, this study proposes a new meta-transition-learning strategy for the task. Specifically, through the sound guidance of a small set of meta data with clean labels, the noise transition matrix and the classifier parameters can be mutually ameliorated to avoid being trapped by noisy training samples, and without need of any anchor point assumptions. Besides, we prove our method is with statistical consistency guarantee on correctly estimating the desired transition matrix. Extensive synthetic and real experiments validate that our method can more accurately extract the transition matrix, naturally following its more robust performance than prior arts. Its essential relationship with label distribution learning is also discussed, which explains its fine performance even under no-noise scenarios.

研究动机与目标

• 解决先前方法依赖强锚点假设或在高噪声环境下转移矩阵估计不准确的局限性。
• 开发一种元学习框架，利用少量干净标签元数据联合优化分类器与转移矩阵。
• 为在噪声标签条件下实现准确转移矩阵估计提供统计一致性保证。
• 通过捕捉真实世界数据中固有的类别间模糊性，即使在无标签噪声时也能提升模型泛化能力与鲁棒性。

提出的方法

• 该方法利用少量干净标签元数据，通过元学习引导噪声转移矩阵与分类器参数的联合优化。
• 其形式化为双层优化问题：外层最小化元数据上的交叉熵损失，内层在噪声训练数据上优化分类器与转移矩阵。
• 转移矩阵被估计为标签翻转的类别条件概率分布，通过元数据引导的梯度更新学习得到。
• 该方法通过依赖元数据稳定估计并防止对噪声标签的过拟合，避免了显式的锚点假设。
• 理论分析证明了在弱正则性条件下，所估计转移矩阵具有统计一致性。
• 该方法可通过将硬标签近似为软标签分布，自然扩展至标签分布学习。

实验结果

研究问题

• RQ1 元学习策略是否能在无需锚点假设的前提下提升噪声转移矩阵估计的准确性？
• RQ2 在高噪声与低噪声标签场景下，所提方法相较于SOTA方法表现如何？
• RQ3 该方法能否在分布偏移与对抗攻击下增强模型的泛化能力与鲁棒性？
• RQ4 所提方法与标签分布学习之间存在何种理论关系？

主要发现

• 在合成数据与真实世界噪声数据集（包括Clothing1M）上，所提方法的转移矩阵估计精度均优于先前SOTA方法。
• 在Clothing1M数据集上，该方法显著降低了top-1错误率，相比交叉熵训练与其他SOTA基线模型，展现出更强的鲁棒性。
• 在分布外数据集上，该方法测试准确率接近软标签训练（CIFAR10H）的1%以内，表现出强大的泛化能力。
• 在FGSM与PGD对抗攻击下，该方法保持了比硬标签训练更高的准确率与更低的交叉熵损失，表明其具备更强的鲁棒性。
• 即使在无噪声场景下，该方法仍表现优异，通过学习到的转移矩阵捕捉类别间模糊性，优于标准交叉熵训练。
• 理论分析确认，该方法在弱条件下可提供对真实转移矩阵的统计一致性估计。