[论文解读] Data Programming by Demonstration: A Framework for Interactively Learning Labeling Functions

Sara Evensen, Chang Ge+2 more|arXiv (Cornell University)|Sep 3, 2020

Advanced Database Systems and Queries参考文献 38被引用 4

一句话总结

本文提出数据编程演示（DPBD），一种通过交互式可视化标注使非专家用户能够创建弱监督的标注函数的框架，从而减少对手动规则编码的依赖。Ruler 系统从用户提供的跨度级标注和关系中合成通用的标注规则，在一项包含10名数据科学家的用户研究中，显著提升了可用性和用户满意度，其性能与传统数据编程相当。

ABSTRACT

Data programming is a programmatic weak supervision approach to efficiently curate large-scale labeled training data. Writing data programs (labeling functions) requires, however, both programming literacy and domain expertise. Many subject matter experts have neither programming proficiency nor time to effectively write data programs. Furthermore, regardless of one's expertise in coding or machine learning, transferring domain expertise into labeling functions by enumerating rules and thresholds is not only time consuming but also inherently difficult. Here we propose a new framework, data programming by demonstration (DPBD), to generate labeling rules using interactive demonstrations of users. DPBD aims to relieve the burden of writing labeling functions from users, enabling them to focus on higher-level semantics such as identifying relevant signals for labeling tasks. We operationalize our framework with Ruler, an interactive system that synthesizes labeling rules for document classification by using span-level annotations of users on document examples. We compare Ruler with conventional data programming through a user study conducted with 10 data scientists creating labeling functions for sentiment and spam classification tasks. We find that Ruler is easier to use and learn and offers higher overall satisfaction, while providing discriminative model performances comparable to ones achieved by conventional data programming.

研究动机与目标

• 为解决数据编程中高门槛的问题，即编写标注函数需要编程知识和深厚的领域专业知识。
• 通过将重点从手动编写标注函数转移到交互式、可视化标注决策的演示，降低认知和技能负担。
• 使不具备编程技能的领域专家能够通过与数据样本的直观交互，有效贡献领域知识。
• 开发一个系统，能自动将用户交互泛化为可重用的、语义有意义的标注规则。

提出的方法

• DPBD 框架收集用户在特定数据样本上的交互行为——包括跨度级标注和关系——以表示标注推理过程。
• 标注规则以领域关系演算符号表示：{tokens | conditions} ⇒ label，其中条件是针对标记的合取布尔谓词。
• 合成器通过用可重用概念替换标记、施加位置或共现约束，并应用转换函数（如词形还原）来泛化初始规则。
• 通过 G(r) = ∏|c.rhs| 对泛化进行评分，优先选择适用于更多数据实例的规则。
• 根据泛化得分对规则进行排序并呈现给用户选择，从而实现高效的规则筛选。
• 系统将选定的规则转换为可执行的标注函数，用于通过弱监督训练判别模型。

实验结果

研究问题

• RQ1 交互式、基于示范的标注能否降低数据编程中编写标注函数所需的努力和专业知识？
• RQ2 通过用户示范生成的标注函数质量与专家手动编写的标注函数相比如何？
• RQ3 与传统数据编程相比，所提出的框架在可用性、可学性和用户满意度方面提升了多少？
• RQ4 合成器能否在不损失模型性能的前提下，将用户交互泛化为语义上有意义且有效的标注规则？

主要发现

• 在包含10名数据科学家的用户研究中，Ruler 显著提升了用户满意度和感知易用性，相比传统数据编程。
• 使用 Ruler 生成的标注函数训练的模型，其预测性能与使用 Snorkel 手动编写的标注函数训练的模型相当。
• 用户认为 Ruler 更容易学习和使用，尤其得益于直观的可视化交互以及对编程知识需求的降低。
• 合成器成功将用户交互泛化为一组有效标注规则，覆盖了大量标注样本，且冗余度极低。
• 该框架证明，领域知识可以通过交互式示范有效捕获，而非通过显式规则编写。
• 开源的 Ruler 系统和研究数据集已公开，支持可复现性与进一步研究。