[论文解读] Approximating Instance-Dependent Noise via Instance-Confidence Embedding

Yivan Zhang, Masashi Sugiyama|arXiv (Cornell University)|Mar 25, 2021

Machine Learning and Data Classification参考文献 73被引用 6

一句话总结

本文提出实例置信嵌入（ICE），一种通过为每个实例学习可学习的标量置信度来近似多分类中的实例相关噪声（IDN）的方法。ICE利用实例特定的嵌入来捕捉非平滑的噪声模式，提升模型鲁棒性，并在图像和文本任务中实现对模糊或错误标注实例的检测。

ABSTRACT

Label noise in multiclass classification is a major obstacle to the deployment of learning systems. However, unlike the widely used class-conditional noise (CCN) assumption that the noisy label is independent of the input feature given the true label, label noise in real-world datasets can be aleatory and heavily dependent on individual instances. In this work, we investigate the instance-dependent noise (IDN) model and propose an efficient approximation of IDN to capture the instance-specific label corruption. Concretely, noting the fact that most columns of the IDN transition matrix have only limited influence on the class-posterior estimation, we propose a variational approximation that uses a single-scalar confidence parameter. To cope with the situation where the mapping from the instance to its confidence value could vary significantly for two adjacent instances, we suggest using instance embedding that assigns a trainable parameter to each instance. The resulting instance-confidence embedding (ICE) method not only performs well under label noise but also can effectively detect ambiguous or mislabeled instances. We validate its utility on various image and text classification tasks.

研究动机与目标

• 解决类别条件噪声（CCN）假设的局限性，后者无法捕捉真实数据集中实例特定的标签污染。
• 开发一种实用的、领域无关的实例相关噪声（IDN）近似方法，避免使用每实例转移矩阵带来的高复杂度。
• 通过学习实例特定的置信度分数，实现对模糊或错误标注实例的有效检测。
• 提供一种模型无关、数据高效的显式建模多分类标签污染过程的方法。

提出的方法

• 提出使用每个实例的单一标量置信度参数对IDN模型进行变分近似，降低估计完整K×K转移矩阵的复杂度。
• 引入实例置信度嵌入（ICE），为每个训练实例分配一个可训练的置信度参数，以建模非平滑、实例特定的噪声模式。
• 使用可微神经网络预测类别后验概率，同时在训练过程中联合优化置信度参数。
• 将噪声类别后验概率形式化为清洁后验概率的加权平均，权重由实例特定的置信度值决定。
• 使用交叉熵损失端到端训练模型，置信度参数通过反向传播进行更新。
• 在推理阶段利用学习到的置信度分数识别并标记模糊或错误标注的实例。

实验结果

研究问题

• RQ1 每个实例的标量置信度参数是否能有效近似复杂的实例相关噪声模式？
• RQ2 与标准的CCN基线方法相比，ICE方法在实例相关噪声下是否能提升模型泛化能力？
• RQ3 学习到的置信度分数是否能可靠地检测真实数据集中模糊或错误标注的实例？
• RQ4 在不同水平的标签噪声下，ICE在多样化的图像和文本分类基准上表现如何？
• RQ5 ICE方法是否在无需领域特定知识或对噪声结构先验假设的情况下依然具备鲁棒性和有效性？

主要发现

• 在实例相关噪声下的图像和文本分类基准上，ICE实现了最先进性能，优于基于CCN的基线方法。
• 该方法通过学习到的置信度分数有效检测出错误标注和模糊的实例，低置信度与标签错误之间具有高度相关性。
• 实验表明，ICE能有效减少过拟合并提升泛化能力，尤其在高噪声环境下表现更优。
• 标量置信度近似以显著更低的计算成本捕捉了IDN的关键特征，相比完整转移矩阵估计更具效率。
• ICE在多种数据集上表现出强鲁棒性，包括CIFAR-10、CIFAR-100以及多个NLP基准（如QNLI和RTE）。
• ICE学习到的置信度分数与标签质量高度相关，可在无需外部监督的情况下实现有效的数据清洗。