[论文解读] EIGEN: Event Influence GENeration using Pre-trained Language Models

Aman Madaan, Dheeraj Rajagopal+4 more|arXiv (Cornell University)|Oct 22, 2020

Topic Modeling参考文献 38被引用 14

一句话总结

本文提出了EIGEN，一种利用微调的预训练语言模型生成上下文相关事件影响（包括前向和后向影响）的框架，基于给定事件、关系类型（如helps, hurts）以及推理跳数距离。EIGEN在WIQA基准测试中将下游问答任务的F1分数显著提升了3%，尤其在复杂、多跳及知识密集型问题上表现突出。

ABSTRACT

Reasoning about events and tracking their influences is fundamental to understanding processes. In this paper, we present EIGEN - a method to leverage pre-trained language models to generate event influences conditioned on a context, nature of their influence, and the distance in a reasoning chain. We also derive a new dataset for research and evaluation of methods for event influence generation. EIGEN outperforms strong baselines both in terms of automated evaluation metrics (by 10 ROUGE points) and human judgments on closeness to reference and relevance of generations. Furthermore, we show that the event influences generated by EIGEN improve the performance on a "what-if" Question Answering (WIQA) benchmark (over 3% F1), especially for questions that require background knowledge and multi-hop reasoning.

研究动机与目标

• 为解决程序性文本中隐式事件影响的生成挑战，这些影响虽未明确陈述但对推理至关重要。
• 开发一种基于上下文、关系类型（如helps, hurts）和推理跳数距离生成事件影响的方法。
• 构建一个大规模、人工标注的事件影响生成数据集，以支持研究与评估。
• 评估生成的影响是否能在不修改模型架构的前提下提升下游推理任务（如问答）的性能。
• 证明预训练语言模型可通过微调实现针对特定知识丰富型影响生成，而不仅限于抽取式推理。

提出的方法

• EIGEN使用掩码语言建模对预训练语言模型（BERT）进行微调，以基于输入上下文、事件、关系类型和跳数距离生成事件影响。
• 该框架构建影响图，其中节点代表事件，边代表关系类型（如helps, hurts, helped by, hurt by）和跳数（1-hop, 2-hop）。
• 输入序列被结构化为[上下文] + [目标事件] + [受影响事件]，并使用BERT的[CLS]标记获取上下文表征。
• 生成的影响被拼接成扁平列表，并重新编码以计算增强表征，从而实现与原始上下文的联合训练。
• 损失函数结合原始输入和增强输入的交叉熵损失：$\mathcal{L} = \alpha \cdot \mathcal{L}_i + \beta \cdot \mathcal{L}_a$，其中$\alpha=1$，$\beta=0.9$。
• 通过自动指标（ROUGE）和人工评估（相关性与与参考文本的接近度）进行评估，并在WIQA问答基准上进行验证。

实验结果

研究问题

• RQ1 预训练语言模型能否被有效微调以生成未在输入中明确提及但上下文相关的新型事件影响？
• RQ2 在自动评估与人工评估指标下，生成的事件影响质量与强基线相比如何？
• RQ3 生成的事件影响在需要多跳或隐含知识的下游推理任务中能提升多少性能？
• RQ4 在包含背景知识需求的挑战性问题类型（如外源性问题）中，引入生成影响是否能提升性能？
• RQ5 模型性能如何随推理跳数距离变化，特别是在较长链路（如3-hop）中表现如何？

主要发现

• 在自动评估中，EIGEN相比强基线在ROUGE指标上高出约10分，证明其生成质量更优。
• 人工评估显示，EIGEN生成的影响在相关性与与参考文本的接近度上显著优于基线模型。
• 当将生成影响注入WIQA问答数据集后，EIGEN使整体F1分数相比基线BERT模型提升了3%。
• 性能提升在3-hop问题上最为显著，EIGEN相比基线F1提升超过8%，表明其在长距离推理中具有有效支持能力。
• EIGEN在需要背景知识的外源性问题上实现了3%的绝对性能提升，证明其能有效补充隐含推理链。
• 模型在不同关系类型和推理距离下均保持一致的性能增益，验证了其在多样化推理链中的泛化能力。