[论文解读] Meta Label Correction for Learning with Weak Supervision

Guo‐qing Zheng, Ahmed Hassan Awadallah+1 more|arXiv (Cornell University)|Sep 25, 2019

Machine Learning and Data Classification参考文献 19被引用 13

一句话总结

本文提出元标签修正（Meta Label Correction, MLC），一种新颖的元学习框架，将标签修正视为元优化过程，以提升弱监督下的学习效果。通过利用元学习的修正策略，MLC 在多种数据集和不同噪声水平下显著优于先前方法，展现出强大的鲁棒性与一致的模型准确率提升。

ABSTRACT

Leveraging weak or noisy supervision for building effective machine learning models has long been an important research problem. The growing need for large-scale datasets to train deep learning models has increased its importance. Weak or noisy supervision could originate from multiple sources including non-expert annotators or automatic labeling based on heuristics or user interaction signals. Previous work on modeling and correcting weak labels have been focused on various aspects, including loss correction, training instance re-weighting, etc. In this paper, we approach this problem from a novel perspective based on meta-learning. We view the label correction procedure as a meta-process and propose a new meta-learning based framework termed MLC for learning with weak supervision. Experiments with different label noise levels on multiple datasets show that MLC can achieve large improvement over previous methods incorporating weak labels for learning.

研究动机与目标

• 解决在标注数据存在噪声或弱监督时，训练鲁棒机器学习模型的挑战，尤其是在大规模深度学习设置下。
• 通过引入元学习视角于标签修正，克服先前方法仅关注损失修正或样本重加权的局限性。
• 开发一个统一框架，通过元优化动态学习弱标签的修正方法，提升泛化能力与模型性能。
• 实现从弱监督源（如启发式规则、非专家标注者或用户交互信号）中有效学习，而无需依赖干净标签。

提出的方法

• 将标签修正建模为元学习问题，模型通过元优化学习弱标签上的修正策略。
• 训练元学习器以最小化多个弱监督设置下的验证误差，从而预测修正后的标签。
• 采用双层优化流程：内层循环在修正后的标签上训练基础模型，外层循环更新元学习器以提升泛化能力。
• 将元学习器集成到训练流程中，于模型训练期间生成修正后的标签，实现端到端优化。
• 利用基于梯度的元学习，根据验证数据上的模型表现自适应调整标签修正策略。
• 将该框架应用于多样化的弱监督源，包括启发式标注和噪声人类标注，且无需领域特定调优。

实验结果

研究问题

• RQ1 元学习能否有效应用于弱监督中的标签修正问题？
• RQ2 MLC 与通过损失调整或样本重加权修正标签的现有方法相比表现如何？
• RQ3 元学习得到的修正策略是否能在不同数据集和噪声水平下实现良好泛化？
• RQ4 在弱监督数据上训练时，MLC 能在多大程度上提升模型准确率？

主要发现

• MLC 在多个具有不同噪声水平的标签噪声数据集上，相较先前方法实现了显著的性能提升。
• 该框架在高噪声条件下尤其优于现有标签修正技术，表现出持续的优越性。
• 元学习得到的修正策略在不同弱监督源和数据分布间具有良好的泛化能力。
• 双层优化流程实现了有效且稳定的标签修正，且在训练过程中无需访问干净标签。
• MLC 有效降低了噪声标签的负面影响，带来更高的测试准确率与更好的模型泛化能力。
• 实证结果表明，将元学习方法应用于标签修正在真实世界的弱监督场景中既有效又可扩展。