[论文解读] EZLearn: Exploiting Organic Supervision in Large-Scale Data Annotation

Maxim Grechkin, Hoifung Poon+1 more|arXiv (Cornell University)|Sep 25, 2017

Genomics and Phylogenetic Studies参考文献 27被引用 7

一句话总结

EZLearn 引入了一种协同训练框架，利用有机监督——词典和自由文本描述——实现在高价值领域内的完全无监督、高精度数据标注。通过联合训练主分类器和辅助 NLP 系统以利用远距离监督信号，EZLearn 在无需任何人工标注数据的情况下实现了最先进性能，在功能基因组学和科学图表理解任务中，其表现优于在数万个样本上进行训练的监督模型。

ABSTRACT

Many real-world applications require automated data annotation, such as identifying tissue origins based on gene expressions and classifying images into semantic categories. Annotation classes are often numerous and subject to changes over time, and annotating examples has become the major bottleneck for supervised learning methods. In science and other high-value domains, large repositories of data samples are often available, together with two sources of organic supervision: a lexicon for the annotation classes, and text descriptions that accompany some data samples. Distant supervision has emerged as a promising paradigm for exploiting such indirect supervision by automatically annotating examples where the text description contains a class mention in the lexicon. However, due to linguistic variations and ambiguities, such training data is inherently noisy, which limits the accuracy of this approach. In this paper, we introduce an auxiliary natural language processing system for the text modality, and incorporate co-training to reduce noise and augment signal in distant supervision. Without using any manually labeled data, our EZLearn system learned to accurately annotate data samples in functional genomics and scientific figure comprehension, substantially outperforming state-of-the-art supervised methods trained on tens of thousands of annotated examples.

研究动机与目标

• 解决在具有数千个不断演化的类别的高价值领域中人工数据标注的瓶颈问题。
• 利用两种 readily available 的间接监督来源：标准化的类别名称词典和伴随数据样本的自由文本描述。
• 在不依赖任何人工标注样本的前提下，降低远距离监督中的噪声并提升信号质量。
• 开发一种可扩展、鲁棒的方法，用于功能基因组学和科学图表理解等领域的自动化标注。

提出的方法

• EZLearn 使用远距离监督通过将词典中的类别名称与自由文本描述中的提及进行匹配，生成噪声训练标签。
• 引入一个辅助 NLP 分类器，以处理标准匹配方法无法解决的语言变体、缩写和模糊提及等问题。
• 系统采用协同训练机制：主分类器与辅助分类器通过迭代标注新样本和纠正错误，相互提升性能。
• 采用卷积神经网络（ResNet-50）提取视觉数据的图像嵌入，而文本特征则来自基于词典的匹配和 NLP 推理。
• 该框架可动态适应本体变化，并在无需从头开始重新训练的情况下支持细粒度分类。
• 学习过程通过迭代优化实现，利用模态之间的相互监督实现收敛。

实验结果

研究问题

• RQ1 结合来自文本和图像模态的协同训练与远距离监督，是否能在完全无人工标注数据的情况下实现高精度标注？
• RQ2 该系统在面对有机监督中的噪声（如拼写错误、缩写和模糊提及）时，其鲁棒性如何？
• RQ3 EZLearn 是否能在输入模态差异巨大的不同领域间实现泛化，例如基因表达谱和科学图表？
• RQ4 EZLearn 在多大程度上能超越在大量标注数据上训练的监督基线模型？

主要发现

• 在细粒度图表分类任务中，EZLearn 的 AUPRC 达到 0.79，显著优于在 3,271 个标注样本上训练的 Viziometrics 分类器（AUPRC 0.53）。
• 在图表理解任务中，EZLearn 在 0.5 召回率下的精确率达到 92%，优于基于词典的基线模型的 87%，表明其具备提取细粒度语义信息的能力。
• 在标签扰动条件下系统依然保持鲁棒性，仅当超过 80% 的初始标签被随机标签替换时，性能才出现显著下降。
• 在功能基因组学任务中，EZLearn 虽未使用任何人工标注，但其表现仍优于在数万个标注样本上训练的最先进监督方法。
• 协同训练机制有效降低了噪声并扩展了信号，使得即使在描述中包含非标准或模糊提及的情况下，也能实现准确分类。