[论文解读] Beyond Images: Label Noise Transition Matrix Estimation for Tasks with Lower-Quality Features

Zhaowei Zhu, Jialu Wang+1 more|arXiv (Cornell University)|Feb 2, 2022

Machine Learning and Data Classification被引用 11

一句话总结

该论文提出了一种基于信息论的方法，用于在低质量特征任务（如表格数据和文本）中估计标签噪声转移矩阵，通过仅使用噪声标签计算的 f-互信息，对无信息的特征分量进行降权处理。该方法提升了特征聚类能力，并显著降低了估计误差，尤其在低资源和噪声较大的 NLP 与表格学习设置中表现更优。

ABSTRACT

The label noise transition matrix, denoting the transition probabilities from clean labels to noisy labels, is crucial for designing statistically robust solutions. Existing estimators for noise transition matrices, e.g., using either anchor points or clusterability, focus on computer vision tasks that are relatively easier to obtain high-quality representations. We observe that tasks with lower-quality features fail to meet the anchor-point or clusterability condition, due to the coexistence of both uninformative and informative representations. To handle this issue, we propose a generic and practical information-theoretic approach to down-weight the less informative parts of the lower-quality features. This improvement is crucial to identifying and estimating the label noise transition matrix. The salient technical challenge is to compute the relevant information-theoretical metrics using only noisy labels instead of clean ones. We prove that the celebrated $f$-mutual information measure can often preserve the order when calculated using noisy labels. We then build our transition matrix estimator using this distilled version of features. The necessity and effectiveness of the proposed method are also demonstrated by evaluating the estimation error on a varied set of tabular data and text classification tasks with lower-quality features. Code is available at github.com/UCSC-REAL/BeyondImages.

研究动机与目标

• 为解决现有标签噪声转移矩阵估计器在低质量特征任务（如表格数据和文本）中失效的问题，这些任务中缺乏高质量表征。
• 开发一种无需训练、通用性强的方法，仅依赖噪声标签，不依赖锚点或聚类可分性假设。
• 通过信息论重加权，降低无信息特征分量的影响，从而改进噪声转移矩阵的估计。
• 在多样化的低质量特征领域（包括 NLP 和表格基准）中，验证该方法的有效性。

提出的方法

• 通过特征的特征分解将输入特征分解为不相关分量，以分离出信息量高的部分与无信息部分。
• 计算每个特征分量与噪声标签之间的 f-互信息，以量化其信息相关性。
• 根据 f-互信息得分对信息量较低的分量进行降权处理，从而增强特征的聚类能力。
• 所有计算仅使用噪声标签，避免对干净标签或模型训练的依赖。
• 利用 f-互信息在标签噪声下保持顺序不变的性质，实现可靠估计。
• 最终通过重加权后的特征估计转移矩阵，提升下游学习的鲁棒性。

实验结果

研究问题

• RQ1 在锚点和聚类可分性假设失效的低质量特征设置中，能否改进标签噪声转移矩阵的估计？
• RQ2 当仅能获得噪声标签时，如何有效利用信息论度量（如 f-互信息）？
• RQ3 通过 f-互信息对无信息特征分量进行降权，是否能提升转移矩阵估计的准确性？
• RQ4 在表格和文本分类任务中，该方法与现有估计器相比，其估计误差表现如何？

主要发现

• 所提方法 Ours-A 在 20 个表格基准中的 16 个上均优于所有基线方法，且在文本分类任务中保持一致的性能优势。
• 在文本基准上，Ours-A 相较于 HOC 及其他基线方法，估计误差最高降低 30%，尤其在高噪声设置下表现更优。
• 在 10 类文本任务中，该方法的估计误差低于 0.05；在二分类任务中，误差低于 0.1，显著优于基线方法（后者在类似任务上的误差报告值超过 0.1）。
• 通过损失校正使用估计的转移矩阵进行下游学习，平均在所有基准上将测试准确率提升最高达 5%。
• 即使原始数据本身存在固有噪声，该方法仍表现出鲁棒性，如在 Yelp 数据集上，高噪声设置下相对误差更低，表明其与真实噪声率对齐更优。