[论文解读] Confidence Scores Make Instance-dependent Label-noise Learning Possible

Antonin Berthon, Bo Han+3 more|arXiv (Cornell University)|Jan 11, 2020

Machine Learning and Data Classification参考文献 58被引用 36

一句话总结

这篇论文提出带有置信分数的实例相关噪声（CSIDN）和一个实例级前向校正（ILFC）方法，该方法利用每个实例的置信度来估计类别转移概率，在实例相关标签噪声下实现鲁棒学习，并在合成数据和真实数据上优于基线。

ABSTRACT

In learning with noisy labels, for every instance, its label can randomly walk to other classes following a transition distribution which is named a noise model. Well-studied noise models are all instance-independent, namely, the transition depends only on the original label but not the instance itself, and thus they are less practical in the wild. Fortunately, methods based on instance-dependent noise have been studied, but most of them have to rely on strong assumptions on the noise models. To alleviate this issue, we introduce confidence-scored instance-dependent noise (CSIDN), where each instance-label pair is equipped with a confidence score. We find with the help of confidence scores, the transition distribution of each instance can be approximately estimated. Similarly to the powerful forward correction for instance-independent noise, we propose a novel instance-level forward correction for CSIDN. We demonstrate the utility and effectiveness of our method through multiple experiments under synthetic label noise and real-world unknown noise.

研究动机与目标

• 在真实、实例相关的设置中，噪声标签下的学习动机，其中标签污染取决于类别和特征。
• 引入每个实例的置信分数来近似噪声转换，使实例相关噪声(IDN)变得可行。
• 提出 CSIDN 模型及一个实用算法（ILFC），以估计实例特异性转换并训练鲁棒分类器。
• 通过合成实验和真实世界数据集（包括 Clothing1M）来证明其有效性。

提出的方法

• 为每个实例定义置信分数 r_x = P(Y= bar{y} | bar{Y}= bar{y}, X=x)。
• 将 CSIDN 表述为标签噪声转移矩阵 T(x) 是实例相关的，但对角项 T_{i,i}(x) 可利用 r_x 和密度比 β_i(x) 估计。
• 假设非对角项满足 T_{i,j}(x) = α_{i,j} (1 - T_{i,i}(x))，其中 α_{i,j} 在各实例之间保持常数，通过锚点估计。
• 开发一个迭代过程，从带有噪声的数据和分类器输出中估计 β_i(x) 和 T_{i,i}(x)。
• 定义一个实例级前向校正损失，并使用 ILFC 步骤训练分类器 h，其中包括基于锚点的 α 和 T 的估计，以及密度比更新。
• 提供一个实用的训练算法（算法 1），交替估计 T、修正损失，并使用一个简单的带噪声分类器和当前模型更新 β。

实验结果

研究问题

• RQ1 每个实例的置信分数是否能够实现实例相关噪声转移的可行估计？
• RQ2 如何利用置信分数和锚点估计每个实例的对角转移概率和类别间翻转概率？
• RQ3 实例级前向校正（ILFC）是否在合成数据和真实数据集上提升对实例相关标签噪声的鲁棒性？
• RQ4 置信分数对扰动是否具有鲁棒性，并在初始仅部分或没有置信注释时是否有帮助（例如 Clothing1M）？

主要发现

• 在高水平实例相关噪声下，ILFC 实现了对鲁棒性能，基线在此场景下表现不佳。
• 在合成数据上，ILFC 的表现优于前向校正、MAE、Lq-norm 和 Co-teaching，尤其在更高的噪声率下。
• 在真实数据集（SVHN、CIFAR-10）中，ILFC 在显著的 IDN 下表现出更快的收敛和更高的准确率。
• 在 Clothing1M 上，ILFC 优于 Forward、MAE、Lq-norm 和 Co-teaching，达到已报道的最高准确率。
• 即使置信分数受到扰动，该方法仍然有效，展示了对不完美置信估计的鲁棒性。