[论文解读] Imprecise Label Learning: A Unified Framework for Learning with Various Imprecise Label Configurations

Hao Chen, Ankit Shah+7 more|arXiv (Cornell University)|May 22, 2023

Text and Document Classification Technologies被引用 8

一句话总结

本论文提出 ILL，一种基于 EM 的框架，统一学习来自部分、半监督、噪声标签及其混合的信息，在这些不精确标签设置下达到最先进的结果。

ABSTRACT

Learning with reduced labeling standards, such as noisy label, partial label, and multiple label candidates, which we generically refer to as extit{imprecise} labels, is a commonplace challenge in machine learning tasks. Previous methods tend to propose specific designs for every emerging imprecise label configuration, which is usually unsustainable when multiple configurations of imprecision coexist. In this paper, we introduce imprecise label learning (ILL), a framework for the unification of learning with various imprecise label configurations. ILL leverages expectation-maximization (EM) for modeling the imprecise label information, treating the precise labels as latent variables.Instead of approximating the correct labels for training, it considers the entire distribution of all possible labeling entailed by the imprecise information. We demonstrate that ILL can seamlessly adapt to partial label learning, semi-supervised learning, noisy label learning, and, more importantly, a mixture of these settings. Notably, ILL surpasses the existing specified techniques for handling imprecise labels, marking the first unified framework with robust and effective performance across various challenging settings. We hope our work will inspire further research on this topic, unleashing the full potential of ILL in wider scenarios where precise labels are expensive and complicated to obtain.

研究动机与目标

• 通过统一处理不精确标注来应对获取精确标签成本高或困难的情境，激发学习动机。
• 提出一个基于 EM 的框架，将真实标签视为潜变量，并最大化不精确信息的似然性。
• 证明该框架能够包含部分标签学习、半监督学习、噪声标签学习及其混合情况。
• 表明 ILL 在标准 PLL、SSL、NLL 基准上达到最先进或具有竞争力的结果。

提出的方法

• 将不精确标签的学习表述为通过 EM 最大化 P(X,I;θ)，其中 Y(真实标签)为潜变量，I 编码不精确信息。
• E 步：计算后验 P(Y|X,I;θ^t)，以反映 I 所涵盖的所有标注可能性。
• M 步：最大化变分下界，更新 θ（以及对于 NLL，更新一个噪声模型 ω）。
• 将统一的 EM 框架专门化为三种设置：部分标签学习（PLL）、半监督学习（SSL）、和噪声标签学习（NLL）。
• 推导包含来自后验概率的软一致性目标的损失函数，连接到已有方法（一致性正则化、伪标签、和噪声建模）。
• 扩展到不精确标签的混合配置，并展示在共存配置下的鲁棒性。

实验结果

研究问题

• RQ1 一个单一的基于 EM 的框架是否可以在不为每种设置定制解决方案的情况下统一 PLL、SSL、NLL 及其混合的学习？
• RQ2 得到的 ILL 目标在标准 PLL、SSL、NLL 基准测试上是否达到竞争力或最先进水平？
• RQ3 将真实标签视为潜变量并对所有可能标注的分布进行优化，如何影响训练稳定性和泛化？
• RQ4 ILL 是否能自然地引入可学习的噪声模型，以在没有特设修正的情况下处理噪声标签？

主要发现

• ILL 提供了一个统一的 EM 表述，将 PLL、SSL、NLL 作为特例包含在内。
• ILL 在部分标签学习基准测试上达到最先进结果，在 SSL 和 NLL 设置中也具竞争力。
• 该框架在混合多种不精确标签配置时表现出鲁棒性和有效性。
• 损失函数体现来自后验的软目标，与若干既有不精确标签技术保持一致并被其包含。
• ILL 支持端到端学习，并具备可学习的噪声模型以处理噪声标签。