[论文解读] DIAG-NRE: A Deep Pattern Diagnosis Framework for Distant Supervision Neural Relation Extraction.

Shun Zheng, Peilin Yu+3 more|arXiv (Cornell University)|Nov 6, 2018

Topic Modeling被引用 1

一句话总结

DIAG-NRE 是一种三阶段深度模式诊断框架，用于诊断并改进基于远程监督（DS）数据训练的神经关系抽取（NRE）模型。它利用强化学习提取模式，通过人工标注的代表性样本对模式进行精炼，并融合来自DS和模式的弱标签以减少噪声，在两个公开数据集的14种关系类型上均实现了显著的F1分数提升。

ABSTRACT

Modern neural network models have achieved the state-of-the-art performance on relation extraction (RE) tasks. Although distant supervision (DS) can automatically generate training labels for RE, the effectiveness of DS highly depends on datasets and relation types, and sometimes it may introduce large labeling noises. In this paper, we propose a deep pattern diagnosis framework, DIAG-NRE, that aims to diagnose and improve neural relation extraction (NRE) models trained on DS-generated data. DIAG-NRE includes three stages: (1) The deep pattern extraction stage employs reinforcement learning to extract regular-expression-style patterns from NRE models. (2) The pattern refinement stage builds a pattern hierarchy to find the most representative patterns and lets human reviewers evaluate them quantitatively by annotating a certain number of pattern-matched examples. In this way, we minimize both the number of labels to annotate and the difficulty of writing heuristic patterns. (3) The weak label fusion stage fuses multiple weak label sources, including DS and refined patterns, to produce noise-reduced labels that can train a better NRE model. To demonstrate the broad applicability of DIAG-NRE, we use it to diagnose 14 relation types of two public datasets with one simple hyper-parameter configuration. We observe different noise behaviors and obtain significant F1 improvements on all relation types suffering from large labeling noises.

研究动机与目标

• 为解决远程监督（DS）在神经关系抽取（NRE）中导致的标注噪声问题，该问题会损害模型性能。
• 在减少人工标注成本的同时，提升用于弱监督的启发式模式的质量。
• 开发一种可扩展、可泛化的框架，以诊断并增强多种关系类型和数据集上的NRE模型。
• 通过有效融合多种弱标签来源，减少对昂贵人工标注数据的依赖。
• 实现对远程监督生成训练数据中不同关系类型噪声行为的系统性诊断。

提出的方法

• 利用强化学习从训练好的NRE模型中自动提取类似正则表达式的模式，捕捉显著的句法和语义模式。
• 构建提取模式的分层结构，以识别最具代表性的模式供人工评估。
• 引入人工评审者对部分模式匹配样本进行定量标注，以在最小标注成本下确保高质量的模式精炼。
• 应用弱标签融合机制，将来自远程监督和精炼模式的标签相结合，生成噪声减少的训练标签。
• 在所有关系类型和数据集中使用单一超参数配置，实现广泛适用性和易于部署。
• 将模式精炼与标签融合整合到端到端的诊断流水线中，实现对NRE模型性能的迭代优化。

实验结果

研究问题

• RQ1 我们如何系统性地诊断基于远程监督训练的NRE模型中标签噪声的类型和来源？
• RQ2 基于模式的诊断框架是否能在保持或提升弱监督质量的同时，降低标注成本？
• RQ3 模式精炼与弱标签融合在多类关系类型中，能在多大程度上缓解远程监督生成标签中的噪声？
• RQ4 该框架在少量超参数调优下，跨多个数据集和关系类型的表现如何？
• RQ5 在使用远程监督时，不同关系类型中观察到的噪声行为有何差异？

主要发现

• DIAG-NRE 在两个公开数据集的全部14种关系类型上均实现了显著的F1分数提升，证明了性能的持续增强。
• 该框架成功诊断出不同关系类型中的多样化噪声行为，揭示了噪声特征因关系类型而异。
• 通过在少量模式匹配实例上利用人工标注样本，DIAG-NRE 在最小化标注成本的同时提升了模式质量。
• 弱标签融合阶段通过结合远程监督和精炼模式的信号，有效减少了噪声，从而提升了下游NRE模型的性能。
• 该框架在所有关系类型和数据集中仅使用单一超参数配置，表现出强大的泛化能力。
• 利用强化学习进行模式提取，成功发现了高质量、类似正则表达式的模式，这些模式兼具可解释性和诊断有效性。