[論文レビュー] LearnDA: Learnable Knowledge-Guided Data Augmentation for Event Causality Identification

Xinyu Zuo, Pengfei Cao+5 more|arXiv (Cornell University)|Jun 3, 2021

Topic Modeling参考文献 49被引用数 7

ひとこと要約

本論文は、イベント因果関係同定（ECI）のための学習可能で知識誘導型のデータ拡張フレームワーク、LearnDAを提案する。このフレームワークは、反復的な文書生成を用いて、タスク固有で、因果的に整合的で、文法的に適切な文を生成する。外部知識ベースを用いて文書生成と因果関係分類を同時に最適化することで、EventStoryLineとCausal-TimeBankの両方でF1スコアがそれぞれ+2.5および+2.1向上し、既存の拡張手法を上回る性能を発揮する。

ABSTRACT

Modern models for event causality identification (ECI) are mainly based on supervised learning, which are prone to the data lacking problem. Unfortunately, the existing NLP-related augmentation methods cannot directly produce the available data required for this task. To solve the data lacking problem, we introduce a new approach to augment training data for event causality identification, by iteratively generating new examples and classifying event causality in a dual learning framework. On the one hand, our approach is knowledge-guided, which can leverage existing knowledge bases to generate well-formed new sentences. On the other hand, our approach employs a dual mechanism, which is a learnable augmentation framework and can interactively adjust the generation process to generate task-related sentences. Experimental results on two benchmarks EventStoryLine and Causal-TimeBank show that 1) our method can augment suitable task-related training data for ECI; 2) our method outperforms previous methods on EventStoryLine and Causal-TimeBank (+2.5 and +2.1 points on F1 value respectively).

研究の動機と目的

• 小規模なアノテート済みデータセットによるモデル性能の制限を受ける、イベント因果関係同定（ECI）におけるデータ不足問題に対処すること。
• 生成された文における因果関係と文語的品質を保持できない、タスクに依存しないNLPデータ拡張手法の限界を克服すること。
• 文書生成と因果関係分類の二重性をモデル化することで、ECIに特化した高品質でタスク関連の高い訓練データを生成する、学習可能で知識誘導型のフレームワークを開発すること。
• 生成された文が因果的に妥当で、適切な文法、意味的役割、一貫性のある因果表現を備えていることを保証すること。
• 相互作用的で二重学習を用いた知識統合が、既存の手法よりも効果的なデータ拡張をもたらすことを実証すること。

提案手法

• LearnDAは、イベント因果関係同定（分類）と文書生成（生成）を二重タスクとしてモデル化する二重学習フレームワークを採用する。
• 外部知識ベースを用いて、有効な因果的イベントペア（例：攻撃 → 死去）を注入することで、初期の生成プロセスをガイドし、因果関係の整合性を確保する。
• 制約付きの生成アーキテクチャが、与えられたイベントとエンティティを保持しながら、欠落している接続語（例：「なぜなら」、「それどころか」）を反復的に補完することで、文の整合性を向上させる。
• 生成器と分類器が反復的に相互作用する：分類器が生成された文の因果関係を評価し、フィードバックが生成器に送られ、これにより将来の出力を改善する。
• 知識誘導型の初期化により、生成された文が現実の因果関係に基づいていることを保証し、二重学習により両コンponentのエンドツーエンドな最適化を実現する。
• 本手法は、因果関係、整合性、多様性について、自動（BLEU）および手動（4段階スケール）の指標を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 因果関係同定と文書生成から同時に学習するデータ拡張フレームワークは、タスクに依存しない手法よりも、ECIのための訓練データの質を向上させることができるか？
• RQ2 知識の根拠に基づくアプローチは、ECIにおける生成文の因果関係性と整合性にどの程度向上効果をもたらすか？
• RQ3 二重学習は、生成された文とECIタスクの目的との整合性をどの程度向上させるか？
• RQ4 本手法は、EDA、バックトランスレーション、テキストサーフェス手法と比較して、より多様で意味的に正確な因果文を生成できるか？
• RQ5 限られた訓練データを拡張するために本フレームワークを用いることで、下流のECI性能が向上するか？

主な発見

• LearnDAは2つのベンチマークデータセットで最先端の性能を達成し、EventStoryLineではF1スコアが+2.5、Causal-TimeBankでは+2.1向上した。
• 手動評価では、LearnDAが生成した文の因果関係性スコアは3.60、整合性スコアは3.64であり、EDA（3.20および2.75）とバックトランスレーション（3.70および3.83）を著しく上回った。
• LearnDAが生成した文のBLEUスコアは、手動による多様性で3.51、自動による多様性で0.66であり、品質を維持したまま高い多様性を示した。
• LearnDAは、F1スコアおよび手動評価の両面でEDA、バックトランスレーション、テキストサーフェス手法を上回り、有意差（有意水準0.05）が確認された。
• 二重学習メカニズムにより、生成と分類の両方のフィードバックループが形成され、より正確でタスクに適したデータが得られた。
• 外部KBからの知識統合により、生成文の因果関係性が顕著に向上し、高い手動スコアとより良い下流性能が得られた。