[论文解读] Learning to Denoise Distantly-Labeled Data for Entity Typing

Yasumasa Onoe, Greg Durrett|arXiv (Cornell University)|May 4, 2019

Topic Modeling参考文献 31被引用 4

一句话总结

本文提出了一种用于远距离标注数据的两阶段去噪框架，用于超细粒度实体类型识别，通过学习一个过滤函数以丢弃不可用的样本，以及一个重标注函数以纠正噪声标签。在合成噪声数据上进行训练，该方法相比基于ELMo的基线模型性能提升了3 F1，达到了最先进水平，优于原始远距离数据和启发式去噪方法。

ABSTRACT

Distantly-labeled data can be used to scale up training of statistical models, but it is typically noisy and that noise can vary with the distant labeling technique. In this work, we propose a two-stage procedure for handling this type of data: denoise it with a learned model, then train our final model on clean and denoised distant data with standard supervised training. Our denoising approach consists of two parts. First, a filtering function discards examples from the distantly labeled data that are wholly unusable. Second, a relabeling function repairs noisy labels for the retained examples. Each of these components is a model trained on synthetically-noised examples generated from a small manually-labeled set. We investigate this approach on the ultra-fine entity typing task of Choi et al. (2018). Our baseline model is an extension of their model with pre-trained ELMo representations, which already achieves state-of-the-art performance. Adding distant data that has been denoised with our learned models gives further performance gains over this base model, outperforming models trained on raw distant data or heuristically-denoised distant data.

研究动机与目标

• 为解决远距离监督实体类型识别中的噪声标签问题，其中来自实体链接和主词等远距离监督源会引入不一致或不完整的标签。
• 通过将噪声远距离数据转换为高质量训练样本，而不修改最终模型的训练流程，从而提升模型性能。
• 开发一种可微分的、端到端的去噪方法，同时基于输入和噪声标签进行条件建模，以实现标签空间结构的学习。
• 在Choi等人（2018）提出的超细粒度实体类型识别基准上进行评估，该基准包含三个粒度层级下的超过10,000种标签类型。
• 证明所提出的去噪方法可泛化至原始标签集之外，在标签被映射到OntoNotes标签体系时仍能提升性能。

提出的方法

• 训练一个过滤函数，基于注入合成噪声的小规模人工标注数据集，识别并丢弃被认为过于噪声或不可靠的远距离标注样本。
• 训练一个重标注函数，通过利用实体与标签的联合嵌入，将噪声标签转换为更准确、更接近人工标注的标签。
• 两个函数均基于合成噪声样本，采用类似去噪自编码器的条件目标进行训练，使模型能够从噪声到真实标签的映射中学习纠正方法。
• 去噪模型的设计与最终的实体类型识别模型架构保持一致，输入和标签表征均使用ELMo嵌入。
• 最终模型在人工标注数据与去噪后的远距离数据的组合上进行标准监督学习训练，无需修改训练流程。
• 该方法在两个远距离监督来源上进行评估：实体链接（EL）和主词启发式方法（HEAD），使用Choi等人（2018）的超细粒度实体类型识别数据集。

实验结果

研究问题

• RQ1 所提出的端到端去噪模型是否能通过应用于远距离标注数据，提升超细粒度实体类型识别的性能？
• RQ2 在去噪后的远距离数据上训练的模型，其性能与在原始远距离数据或启发式去噪数据上训练的模型相比如何？
• RQ3 去噪过程在多大程度上恢复了缺失或错误的标签，特别是超细粒度类型？
• RQ4 该去噪框架是否能泛化到不同的标签体系，如OntoNotes标签体系？
• RQ5 过滤和重标注函数是否能有效识别并纠正标签噪声，同时保留有用的样本？

主要发现

• 所提出的去噪框架在超细粒度实体类型识别基准上相比基于ELMo的基线模型，实现了3.0 F1的绝对性能提升，确立了新的最先进水平。
• 与直接在原始远距离数据上训练相比，该方法性能提升了4.4 F1，表明去噪对于有效利用远距离监督至关重要。
• 重标注函数在EL样本上平均增加了2.03个超细粒度类型，在HEAD样本上平均增加了1.15个，显著恢复了缺失的细粒度和超细粒度标签。
• 过滤函数丢弃了9.4%的EL样本和10.0%的HEAD样本，表明远距离数据中相当大一部分是过于噪声而无用的。
• 即使在将标签映射到OntoNotes标签体系时，去噪后的数据仍能提升性能，优于Choi等人（2018）原始方法在该设置下的表现。
• 结果表明，基于合成噪声进行端到端训练的去噪方法，在该任务上比基于启发式的过滤与重标注方法泛化能力更强。