[论文解读] DEER: A Data Efficient Language Model for Event Temporal Reasoning.
DEER 是一种针对事件时间推理任务特别设计的数据高效语言模型，利用生成器-判别器框架在低资源设置下提升性能。通过生成聚焦于时间关系的合成训练数据，它在五个基准数据集上实现了最先进结果。
Pretrained language models (LMs) such as BERT, RoBERTa, and ELECTRA are effective at improving the performances of a variety of downstream NLP tasks. Recently, researchers have incorporated domain and task-specific knowledge in these LMs' training objectives and further enhanced models' capability of handling downstream tasks. However, none of these LMs are designed specifically for event temporal reasoning. We propose DEER, a language model that is trained to focus on event temporal relations and performs better under low-resource settings than original LMs. More specifically, we create a large number of training samples to simulate the machine reading comprehension and information extraction tasks for event temporal understanding and leverage a generator-discriminator structure to reinforce the LMs' capability of event temporal reasoning. Our experimental results show that DEER can achieve SOTA results and works particularly well in low-resource settings across 5 widely used datasets.
研究动机与目标
- 解决缺乏专门针对事件时间推理任务优化的语言模型的问题。
- 在标注数据稀缺的低资源条件下提升模型性能。
- 开发一种明确聚焦于事件间时间关系的训练策略。
- 增强预训练语言模型在机器阅读理解与信息抽取任务中对时间理解的能力。
提出的方法
- 通过生成模拟机器阅读理解与信息抽取任务的训练样本，构建大规模合成数据集，以支持事件时间理解。
- 采用生成器-判别器架构，提升模型对事件间时间关系推理的能力。
- 在强调事件排序与时间依赖关系的合成数据上微调语言模型。
- 将任务特定知识整合到预训练目标中，以增强时间推理能力。
- 采用双流训练机制，其中生成器负责生成时间关系预测，判别器负责评估其正确性。
- 通过对比损失函数优化模型，以区分上下文中正确与错误的时间关系。
实验结果
研究问题
- RQ1在事件时间关系聚焦的合成数据上预训练的语言模型，是否能在低资源设置下超越标准语言模型？
- RQ2与标准微调相比，生成器-判别器框架在提升时间推理能力方面的有效性如何？
- RQ3在时间关系数据上进行任务特定预训练，是否能在多样化的事件时间推理基准上带来一致的性能提升？
- RQ4DEER 在标注数据有限的低资源场景中，其泛化能力达到何种程度？
主要发现
- DEER 在五个广泛使用的事件时间推理数据集上实现了最先进性能。
- 与原始预训练语言模型（如 BERT 和 RoBERTa）相比，DEER 在低资源设置下表现出更优性能。
- 生成器-判别器训练方案显著提升了模型预测正确时间关系的能力。
- 为时间推理生成的合成数据，带来了下游任务准确率的可测量提升。
- 即使标注样本有限，DEER 仍保持强劲性能，凸显其数据高效性。
- 模型性能增益在低资源场景中最为显著，证实了其面向数据稀缺环境的设计目标。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。