[论文解读] Domain Adaptative Causality Encoder

Farhad Moghimifar, Gholamreza Haffari+1 more|arXiv (Cornell University)|Nov 27, 2020

Topic Modeling参考文献 41被引用 4

一句话总结

本文提出了一种领域自适应的因果编码器（ACE），通过利用依存树表示和对抗性学习，提升了在分布不同的领域之间因果关系识别与定位的性能。通过引入MedCaus数据集并应用梯度反转进行领域自适应，ACE在基准数据集上的表现相较于最先进模型最高提升了7%。

ABSTRACT

Current approaches which are mainly based on the extraction of low-level relations among individual events are limited by the shortage of publicly available labelled data. Therefore, the resulting models perform poorly when applied to a distributionally different domain for which labelled data did not exist at the time of training. To overcome this limitation, in this paper, we leverage the characteristics of dependency trees and adversarial learning to address the tasks of adaptive causality identification and localisation. The term adaptive is used since the training and test data come from two distributionally different datasets, which to the best of our knowledge, this work is the first to address. Moreover, we present a new causality dataset, namely MedCaus, which integrates all types of causality in the text. Our experiments on four different benchmark causality datasets demonstrate the superiority of our approach over the existing baselines, by up to 7% improvement, on the tasks of identification and localisation of the causal relations from the text.

研究动机与目标

• 为解决在文本因果关系抽取中因领域分布差异导致的领域偏移问题，即在某一领域（如医学）上训练的模型在分布外数据（如金融）上性能下降的问题。
• 开发一种神经网络模型，联合捕捉句子中的句法与语义依赖关系，以实现更准确的因果关系识别与定位。
• 通过使用梯度反转的对抗性领域自适应方法，缓解源领域与目标领域之间的分布差异。
• 构建一个全面的因果关系数据集MedCaus，涵盖显式、隐式、嵌套和非因果关系，以支持更有效的训练与评估。

提出的方法

• 该模型使用图卷积网络（GCNs）对依存树进行编码，捕捉句子中词语之间的句法与语义关系。
• 通过引入梯度反转层，对齐源领域与目标领域的特征分布，从而在训练过程中最小化领域偏移。
• 对抗性训练框架包含一个领域判别器，促使编码器生成领域不变的表示。
• 通过多任务学习，联合优化因果关系识别（二分类）与因果关系定位（跨度抽取）任务。
• MedCaus数据集由15,000个人工标注的句子构成，源自医学文献，涵盖所有类型的因果关系：显式、隐式、嵌套和非因果关系。
• 使用t-SNE对编码器的特征表示进行可视化，以证明在应用ACE模块后，源领域与目标领域的特征分布成功对齐。

实验结果

研究问题

• RQ1 在未在目标领域标注数据上微调的情况下，基于某一领域训练的因果模型是否能有效泛化到分布不同的领域？
• RQ2 使用梯度反转的对抗性领域自适应在提升跨领域因果关系识别与定位性能方面效果如何？
• RQ3 与标准序列模型相比，引入依存树结构在多大程度上提升了因果关系检测的性能？
• RQ4 通过联合学习，统一模型是否能在因果关系识别与定位两个任务上均实现更优性能？

主要发现

• 所提出的ACE模型在四个基准数据集上的因果关系识别与定位任务中，F1分数相比现有基线模型最高提升7%。
• 通过梯度反转实现的领域自适应显著提升了模型泛化能力，当应用于基线模型时，目标数据集上的性能最高提升达39%。
• ACE模型在所有对比模型中取得了最高的召回率与F1分数，尽管CDAN模型的精确率更高，ACE在两项指标上均表现更优。
• 定性分析表明，该模型能正确识别因果关系，并在医学、金融和通用文本等多样化领域中准确定位原因-结果跨度。
• t-SNE可视化结果表明，ACE模块成功对齐了源领域与目标领域的特征分布，有效减少了领域偏移。
• MedCaus数据集有效捕捉了因果关系类型的完整谱系，包括嵌套关系与隐式关系，从而支持更鲁棒的训练与评估。