[论文解读] Identifiability of Label Noise Transition Matrix

Yang Liu, Cheng, Hao+1 more|arXiv (Cornell University)|Feb 4, 2022

Water Systems and Optimization被引用 6

一句话总结

本文利用Kruskal张量分解框架，建立了实例相关标签噪声转移矩阵的可识别性，证明了三个独立的噪声标签在实例层面既是识别所必需的也是充分的。研究揭示了解耦特征能显著提升可识别性，并通过这一理论视角解释了当前最先进方法的成功原因。

ABSTRACT

The noise transition matrix plays a central role in the problem of learning with noisy labels. Among many other reasons, a large number of existing solutions rely on access to it. Identifying and estimating the transition matrix without ground truth labels is a critical and challenging task. When label noise transition depends on each instance, the problem of identifying the instance-dependent noise transition matrix becomes substantially more challenging. Despite recent works proposing solutions for learning from instance-dependent noisy labels, the field lacks a unified understanding of when such a problem remains identifiable. The goal of this paper is to characterize the identifiability of the label noise transition matrix. Building on Kruskal's identifiability results, we are able to show the necessity of multiple noisy labels in identifying the noise transition matrix for the generic case at the instance level. We further instantiate the results to explain the successes of the state-of-the-art solutions and how additional assumptions alleviated the requirement of multiple noisy labels. Our result also reveals that disentangled features are helpful in the above identification task and we provide empirical evidence.

研究动机与目标

• 正式刻画实例相关标签噪声转移矩阵的可识别性，这是弱监督学习中长期存在的开放性问题。
• 通过理论视角统一并解释现有方法在学习实例相关噪声标签时的成功原因。
• 研究结构假设（如解耦特征或因果结构）如何增强可识别性。
• 在实例层面依赖条件下，提供识别噪声转移矩阵的必要且充分条件。
• 为弱监督设置中提升可识别性的假设研究提供指导。

提出的方法

• 利用Kruskal对三阶张量的可识别性结果，推导出识别实例相关转移矩阵的必要且充分条件。
• 引入一个隐变量模型，其中真实标签 Y、噪声标签 Ŷ 和样本 X 通过三模张量结构关联。
• 基于张量分解的秩与唯一性定义可识别性，涉及类别数 K 与数据中不同组数 G。
• 使用条件：三个因子矩阵的秩之和至少为 2K−1，以确保唯一分解。
• 将该框架应用于解释现有方法：基于DNN的特征学习、因果推断以及自监督对比学习（SimCLR、IPIRM）。
• 通过实证验证，更解耦的特征（如 IPIRM 所生成）能显著降低转移矩阵恢复中的估计误差。

实验结果

研究问题

• RQ1 在何种条件下，实例相关标签噪声转移矩阵是可识别的？
• RQ2 为何现有方法在缺乏真实标签的情况下仍能成功学习实例相关噪声标签？
• RQ3 如解耦特征或因果结构等假设如何提升可识别性？
• RQ4 在实例层面，识别所需的最少噪声标签数量是多少？
• RQ5 理论可识别性条件能否解释自监督与深度学习方法的实证成功？

主要发现

• 三个独立同分布的噪声标签在实例层面既是识别转移矩阵所必需的也是充分的。
• 解耦特征显著降低估计误差：在 CIFAR-10 上，实例相关噪声为 0.6 时，误差从弱监督下的 6.18±0.15 降至 IPIRM 的 2.37±0.06。
• HOC、基于DNN的估计方法以及因果方法的成功，可归因于其将输入空间压缩至更小、更具可识别性的组空间 G 的能力。
• 当张量分解中三个因子矩阵的秩之和至少为 2K−1 时，可实现理论上的可识别性，确保唯一恢复。
• 自监督预训练（如 SimCLR、IPIRM）生成的特征更具解耦性，其转移矩阵估计效果优于标准交叉熵预训练。
• 理论分析表明，使用DNN或因果结构的方法有效降低了 X 的有效维度，通过缩小可能的 G 空间，使可识别性更有可能实现。