[论文解读] Constrained Labeling for Weakly Supervised Learning

Chidubem Arachie, Bert Huang|arXiv (Cornell University)|Sep 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 38被引用 5

一句话总结

本文提出了一种无数据、高效的弱监督学习方法——约束标签学习（CLL），该方法基于弱监督信号的预期错误率定义一个约束标签空间，并在该空间内随机采样标签以训练模型。CLL 收敛迅速，在文本和图像分类任务上优于现有方法，且在错误率估计不准确时仍保持鲁棒性。

ABSTRACT

Curation of large fully supervised datasets has become one of the major roadblocks for machine learning. Weak supervision provides an alternative to supervised learning by training with cheap, noisy, and possibly correlated labeling functions from varying sources. The key challenge in weakly supervised learning is combining the different weak supervision signals while navigating misleading correlations in their errors. In this paper, we propose a simple data-free approach for combining weak supervision signals by defining a constrained space for the possible labels of the weak signals and training with a random labeling within this constrained space. Our method is efficient and stable, converging after a few iterations of gradient descent. We prove theoretical conditions under which the worst-case error of the randomized label decreases with the rank of the linear constraints. We show experimentally that our method outperforms other weak supervision methods on various text- and image-classification tasks.

研究动机与目标

• 通过利用弱监督信号实现有效训练，以解决深度学习中大规模数据标注的瓶颈问题。
• 在不依赖复杂生成模型或概率假设的前提下，结合多个噪声大、可能相关的弱监督信号。
• 开发一种对错误率估计不准确具有鲁棒性的方法，并避免对冗余信号的重复计数。
• 通过约束优化构建高质量训练标签，提升模型泛化能力。
• 提供一种可扩展的凸优化框架，可在少数迭代内实现收敛。

提出的方法

• CLL 基于弱监督信号的预期错误率，为未标注数据定义一个可能标签的约束空间。
• 从该约束空间中采样一个随机标签向量作为训练标签，确保与错误率估计一致。
• 该方法在候选标签上构建凸优化问题，通过梯度下降在少数迭代内实现快速收敛。
• 约束条件要求每个弱信号在采样标签上的错误率不得超过其提供的预期错误率。
• 该方法避免对抗性优化，且不要求所有弱信号对每个样本都进行标注，允许模型选择不标注（abstention）。
• 理论分析表明，标签准确率随线性约束矩阵的秩提高而提升，表明线性无关信号可减少冗余并提升性能。

实验结果

研究问题

• RQ1 无数据、凸优化方法能否有效结合多个弱监督信号，生成高质量的训练标签？
• RQ2 当错误率估计不准确或松散指定时，该方法表现如何？
• RQ3 约束标签空间是否能防止对冗余或相关弱信号的重复计数？
• RQ4 该方法能否在无需标注数据的情况下，实现接近完全监督学习的性能？
• RQ5 与现有弱监督框架相比，该方法在可扩展性和收敛性方面表现如何？

主要发现

• 在文本和图像分类任务中，CLL 均优于所有对比方法，在 SVHN 数字识别任务上，测试准确率比次优方法高出超过 23 个百分点。
• 在 IMDB 文本数据集上，CLL 使用基于关键词的弱信号训练，其测试性能优于使用数据编程或多数投票获得标签的模型。
• 在合成数据集上，即使使用恒定错误率估计，CLL 的标签准确率也仅比完全监督学习低几个百分点。
• 尽管在 Yelp 和 Trec-6 数据集上的标签准确率低于某些基线方法，CLL 仍实现了更优的测试准确率，表明其泛化能力更强。
• 当使用最坏情况下的均匀错误率估计时，该方法依然保持鲁棒性，表明其对错误率估计不准确的敏感性极低。
• 理论分析证实，标签质量随约束矩阵的秩提高而改善，验证了线性无关信号可提升性能且不引入冗余。