[論文レビュー] Domain Adaptative Causality Encoder

Farhad Moghimifar, Gholamreza Haffari+1 more|arXiv (Cornell University)|Nov 27, 2020

Topic Modeling参考文献 41被引用数 4

ひとこと要約

本論文は、依存木表現と adversarial learning を活用して、分布的に異なるドメイン間で因果関係の同定と局所化を向上させるドメイン適応型因果エンコーダー（ACE）を提案する。MedCaus データセットの構築と勾配反転を用いたドメイン適応により、ベンチマークデータセット上で最先端のモデルと比較して最大7%の性能向上を達成した。

ABSTRACT

Current approaches which are mainly based on the extraction of low-level relations among individual events are limited by the shortage of publicly available labelled data. Therefore, the resulting models perform poorly when applied to a distributionally different domain for which labelled data did not exist at the time of training. To overcome this limitation, in this paper, we leverage the characteristics of dependency trees and adversarial learning to address the tasks of adaptive causality identification and localisation. The term adaptive is used since the training and test data come from two distributionally different datasets, which to the best of our knowledge, this work is the first to address. Moreover, we present a new causality dataset, namely MedCaus, which integrates all types of causality in the text. Our experiments on four different benchmark causality datasets demonstrate the superiority of our approach over the existing baselines, by up to 7% improvement, on the tasks of identification and localisation of the causal relations from the text.

研究の動機と目的

• テキスト的因果関係抽出におけるドメインシフトの課題に対処すること。具体的には、あるドメイン（例：医療）で学習したモデルが、他のドメイン（例：金融）のデータでは性能を発揮しない問題に。
• 文における構文的および意味的依存関係を統合的に捉えるニューラルモデルを構築し、因果関係の同定と局所化をより正確にすること。
• 勾配反転を用いた adversarial ドメイン適応により、ソースドメインとターゲットドメイン間の分布的差異を軽減すること。
• 明示的・暗黙的・ネストされた・因果関係でない関係を含む、包括的な因果関係データセット MedCaus を作成し、より良い学習と評価を可能とすること。

提案手法

• モデルはグラフ畳み込みネットワーク（GCNs）を用いて依存木をエンコードし、文内の語の間の構文的および意味的関係を捉える。
• 勾配反転層を適用して、ソースドメインとターゲットドメインの特徴分布を一致させ、トレーニング中にドメインシフトを最小化する。
• adversarial 学習フレームワークには、エンコーダーがドメイン不変の表現を生成するよう促すドメイン識別器が含まれる。
• マルチタスク学習を用いて、因果関係同定（二値分類）と因果関係局所化（スパン抽出）を同時に最適化する。
• MedCaus データセットは、医療文献から抽出された15,000件の人的アノテーション付き文から構成され、明示的・暗黙的・ネストされた・因果関係でない関係のすべてのタイプをカバーする。
• t-SNE を用いてエンコーダーからの特徴表現を可視化し、ACE モジュールを適用した後、ソースドメインとターゲットドメインの特徴分布が成功裏に一致していることを示した。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きターゲットデータを再トレーニングせずに、あるドメインで学習した因果モデルが、分布的に異なるドメインに一般化して効果的に機能するか。
• RQ2 勾配反転を用いた adversarial ドメイン適応は、ドメイン間での因果関係同定と局所化の性能向上にどの程度効果的か。
• RQ3 従来のシーケンスモデルと比較して、依存木構造を統合することで、因果関係検出の性能がどの程度向上するか。
• RQ4 統合的なモデルが、共同学習により因果関係同定と局所化の両タスクで優れた性能を達成できるか。

主な発見

• 提案された ACE モデルは、4つのベンチマークデータセットにおいて、因果関係同定と局所化の両タスクで、既存のベースラインと比較して F1 スコアを最大7%向上させた。
• 勾配反転を用いたドメイン適応により、モデルの一般化性能が顕著に向上し、ベースラインモデルに適用した場合、ターゲットデータセットでの性能向上が最大39%に達した。
• ACE モデルは、CDAN で高い精度を示すにもかかわらず、両方の指標（リコールと F1）で CDAN を上回り、最高のリコールと F1 スコアを達成した。
• 定性的な分析により、モデルは多様なドメイン（医療・金融・一般テキストなど）において、因果関係を正しく同定し、原因・結果のスパンを正確に局所化していることが確認された。
• t-SNE 可視化により、ACE モジュールがソースドメインとターゲットドメインの特徴分布を成功裏に一致させ、ドメインシフトを低減していることが示された。
• MedCaus データセットは、ネストされた関係や暗黙の関係を含む、因果関係の全タイプを的確に捉えており、より強固な学習と評価を可能としている。