[论文解读] Interactive Weak Supervision: Learning Useful Heuristics for Data Labeling

Benedikt Boecking, Willie Neiswanger+2 more|arXiv (Cornell University)|Dec 10, 2020

Machine Learning and Data Classification被引用 16

一句话总结

本文提出了一种名为交互式弱监督（Interactive Weak Supervision, IWS）的新框架，通过交互式地向领域专家查询候选标注函数（LFs）而非数据点，自动发现有效的标注启发式规则。通过从用户对标注函数的反馈中学习，IWS在显著减少用户查询次数的同时实现了与传统主动学习相比更具竞争力的模型性能，展示了在弱监督学习设置下更高的效率与有效性。

ABSTRACT

Obtaining large annotated datasets is critical for training successful machine learning models and it is often a bottleneck in practice. Weak supervision offers a promising alternative for producing labeled datasets without ground truth annotations by generating probabilistic labels using multiple noisy heuristics. This process can scale to large datasets and has demonstrated state of the art performance in diverse domains such as healthcare and e-commerce. One practical issue with learning from user-generated heuristics is that their creation requires creativity, foresight, and domain expertise from those who hand-craft them, a process which can be tedious and subjective. We develop the first framework for interactive weak supervision in which a method proposes heuristics and learns from user feedback given on each proposed heuristic. Our experiments demonstrate that only a small number of feedback iterations are needed to train models that achieve highly competitive test set performance without access to ground truth training labels. We conduct user studies, which show that users are able to effectively provide feedback on heuristics and that test set results track the performance of simulated oracles.

研究动机与目标

• 解决在弱监督设置中手动构建有效标注函数（LFs）所带来的高认知与时间成本问题。
• 通过让专家对标注函数而非单个数据点提供反馈，减少对昂贵的人工数据标注的依赖。
• 开发一种交互式框架，通过学习用户反馈高效识别高准确率的标注函数。
• 提升弱监督在实际应用中的可扩展性与实用性，尤其在专家时间有限的场景下。
• 证明对标注函数的用户反馈可生成与全量真实标签训练出的模型性能相当的下游模型。

提出的方法

• 该方法自动提出候选标注函数（LFs），并查询专家对其准确性和有用性进行反馈。
• 反馈模型从用户判断中学习，以预测哪些LFs可能具有高准确性，使用概率标签模型来估计潜在的真实标签。
• 该框架采用噪声感知损失函数，基于标签模型估计的标签训练最终分类器，遵循Ratner等人（2016）的方法。
• 采用结构化的指数族模型，分别对标注函数准确率和标签倾向性（即LF的弃权或投票频率）进行建模，参数分别为θ(1)和θ(2)。
• 系统采用主动学习原则，但将其应用于标注函数而非数据点，从而减少所需用户交互次数。
• 标签模型通过最大似然方法进行训练，推导出标注函数准确率与倾向性参数的闭式解。

实验结果

研究问题

• RQ1 与在数据点上进行的传统主动学习相比，对标注函数（LFs）进行交互式反馈是否更具效率？
• RQ2 用户能否可靠地判断自动生成的标注函数的质量？
• RQ3 从用户对标注函数的反馈中学习，是否能带来与全量真实标签训练出的下游模型性能相当的模型？
• RQ4 在模型性能与效率方面，用户标注的标注函数数量与数据点标注数量相比如何？
• RQ5 该框架能否有效建模标注函数准确率与标签倾向性，从而提升标签估计性能？

主要发现

• 在完成200个标注函数标注后，IWS在测试集上达到的AUC值，相当于标准主动学习中至少需要三倍数据点标注才能达到的性能。
• 用户对标注函数反馈的响应时间短于对数据点标注的响应时间，表明认知负荷更低。
• 用户研究证实，专家能够对自动生成的标注函数质量提供准确且可靠的反馈。
• 最终模型在测试集上的性能与模拟的最优模型（oracle）表现非常接近，验证了模型的学习能力。
• 该框架展现出卓越的样本效率，仅通过极少的专家交互即可实现高性能。
• 标签模型仅依赖弱监督与用户对标注函数的反馈，即可准确估计潜在真实标签，从而实现强大的下游分类器性能。