[论文解读] Learning from Rules Generalizing Labeled Exemplars

Abhijeet Awasthi, Sabyasachi Ghosh+2 more|arXiv (Cornell University)|Apr 13, 2020

Machine Learning and Data Classification参考文献 34被引用 23

一句话总结

本文提出了一种新颖的框架，将标注规则与示例——即规则正确适用的具体实例——相结合，通过软蕴含损失联合去噪规则并训练分类器，从而提升模型训练效果。该方法在五个多样化的自然语言处理任务中优于现有的噪声监督方法，通过潜在覆盖变量实现规则特异性噪声校正，从而取得更优的泛化性能。

ABSTRACT

In many applications labeled data is not readily available, and needs to be collected via pain-staking human supervision. We propose a rule-exemplar method for collecting human supervision to combine the efficiency of rules with the quality of instance labels. The supervision is coupled such that it is both natural for humans and synergistic for learning. We propose a training algorithm that jointly denoises rules via latent coverage variables, and trains the model through a soft implication loss over the coverage and label variables. The denoised rules and trained model are used jointly for inference. Empirical evaluation on five different tasks shows that (1) our algorithm is more accurate than several existing methods of learning from a mix of clean and noisy supervision, and (2) the coupled rule-exemplar supervision is effective in denoising rules.

研究动机与目标

• 为解决机器学习中获取高质量标注数据的挑战，其中人工标注成本高且耗时长。
• 开发一种更有效的监督范式，结合规则的可扩展性与实例级标注的精确性。
• 设计一种训练算法，同时对过度泛化的规则进行去噪并利用耦合的规则-示例监督提升分类器性能。
• 证明通过潜在覆盖变量实现的规则特异性噪声校正，相比通用的噪声鲁棒学习方法，能带来更好的泛化能力。

提出的方法

• 该方法将每条规则建模为对其实例的噪声泛化，使用潜在覆盖变量表示规则是否正确适用于某条样本。
• 引入一种软蕴含损失，以强制逻辑一致性：若规则覆盖某条样本，则预测标签应与示例的标签一致。
• 通过变分推理方法，联合最大化标签和覆盖变量的似然，实现分类器与规则去噪的联合优化。
• 采用可微分的蕴含约束松弛，使模型能够通过梯度下降实现端到端训练。
• 推理阶段使用去噪后的规则以提升预测准确率，形成规则优化与模型学习之间的反馈回路。
• 该框架与规则表示无关，适用于多种自然语言处理任务，包括文本分类和序列标注。

实验结果

研究问题

• RQ1 将规则与示例耦合是否能带来更有效且更自然的人工监督方式？
• RQ2 在不依赖外部干净数据的前提下，如何有效建模并校正规则特异性噪声？
• RQ3 通过潜在覆盖变量联合学习分类器与规则去噪，是否能优于标准的噪声标签学习方法？
• RQ4 软蕴含损失在处理过度泛化的规则时，与标准交叉熵或规则加权基线相比，其性能优势在多大程度上体现？
• RQ5 该范式是否可推广至多种自然语言处理任务，且仅需极少的架构修改？

主要发现

• 所提方法在五个多样化的自然语言处理任务中，均优于多个最先进基线模型，包括使用噪声规则、主动学习和后验正则化的方法。
• 通过潜在覆盖变量进行联合训练，显著减少了规则的过度泛化，表现为在保留数据上的规则精确度提升。
• 实证结果表明，软蕴含损失有效利用了示例监督以校正规则引发的标签噪声，尤其在低资源场景下表现突出。
• 在所有评估设置中，该方法均优于规则加权基线（如 Snorkel）和噪声鲁棒学习框架（如使用干净验证集的元学习）。
• 该框架在规则监督与实例监督之间展现出强大的协同效应：规则去噪提升了模型性能，而模型预测也反过来增强了规则的可靠性。
• 代码与数据集已公开，支持可复现性，并可轻松拓展至新应用场景。