[论文解读] Effective Distant Supervision for Temporal Relation Extraction

Xinyu Zhao, Shih-Ting Lin+1 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 22被引用 4

一句话总结

本文提出了一种新颖的远程监督方法用于时间关系抽取，该方法自动收集并标注事件对，利用显式时间线索（例如 'before'、'after'、timexes），随后对这些线索进行遮蔽，迫使模型学习隐式的上下文信号。在遮蔽数据上微调的预训练Transformer模型在人工标注基准上实现了强大的零样本和少样本迁移性能，其中RoBERTa在MATRES上的F1达到79.8，证明了从合成的、远程标注数据中实现有效泛化的能力。

ABSTRACT

A principal barrier to training temporal relation extraction models in new domains is the lack of varied, high quality examples and the challenge of collecting more. We present a method of automatically collecting distantly-supervised examples of temporal relations. We scrape and automatically label event pairs where the temporal relations are made explicit in text, then mask out those explicit cues, forcing a model trained on this data to learn other signals. We demonstrate that a pre-trained Transformer model is able to transfer from the weakly labeled examples to human-annotated benchmarks in both zero-shot and few-shot settings, and that the masking scheme is important in improving generalization.

研究动机与目标

• 为新领域中的时间关系抽取解决高质量、多样化训练数据稀缺的问题。
• 开发一种无需依赖外部知识库的自动生成远程标注样本的方法。
• 通过遮蔽显式时间指示符，迫使模型依赖上下文线索，从而提升模型泛化能力。
• 评估预训练模型是否能有效从自动收集的、遮蔽的样本迁移到人工标注基准。
• 比较不同远程监督信号来源（话语连接词 vs. timex锚定事件）在低资源设置下的有效性。

提出的方法

• 使用启发式规则从英语Gigaword中提取事件对，以识别显式时间线索，如话语连接词（例如 'before'、'after'）和timex（例如 'yesterday'、'now'）。
• 基于这些线索自动标注事件对，构建大规模、远程监督的数据集。
• 应用遮蔽策略，隐藏输入文本中的显式时间指示符（例如 'before'、'after'、'2020'），迫使模型仅通过上下文推断关系。
• 使用分类头（通过拼接、逐元素相乘和相减组合事件嵌入）在遮蔽样本上微调预训练的RoBERTa模型。
• 在零样本和少样本设置下，使用该模型对人工标注基准（如MATRES）进行推理。
• 使用F1分数评估性能，并与基线模型和多数类基线进行比较。

实验结果

研究问题

• RQ1 预训练的Transformer模型能否有效从自动收集的、远程标注的时间关系样本泛化到人工标注基准？
• RQ2 在训练期间遮蔽显式时间线索如何影响模型在下游任务中的泛化能力和性能？
• RQ3 在低资源设置下，哪种远程监督信号源——话语连接词还是timex锚定事件——能产生更好的泛化效果？
• RQ4 远程数据中事件的分布（例如动词类型、语义）是否会影响其向人工标注数据集的迁移性能？
• RQ5 所提出的“标注-遮蔽”范式能否用于其他自然语言处理任务（而不仅限于时间关系抽取）来构建有效的训练数据？

主要发现

• 在训练期间遮蔽显式时间线索能显著提升模型在MATRES基准上的泛化能力，尤其在使用timex锚定事件时效果更明显。
• 使用RoBERTa模型在MATRES上达到79.8的F1分数，与之前基于本地模型的最先进性能相当。
• 基于timex锚定事件的DistantTimex方法在零样本和少样本迁移中优于基于话语连接词的BeforeAfter方法。
• DistantTimex数据集中事件的分布比BeforeAfter数据集更丰富、语义更复杂，这可能有助于提升泛化能力。
• 在遮蔽的DistantTimex数据上训练的模型优于多数类基线，表明其学习到了有意义的隐式时间线索，而非依赖于简单信号。
• 该方法实现了对人工标注基准的有效零样本和少样本迁移，证明了合成数据在低资源时间关系抽取中的可行性。