[論文レビュー] Extracting Temporal and Causal Relations between Events

Paramita Mirza|arXiv (Cornell University)|Jan 1, 2016

Natural Language Processing Techniques参考文献 13被引用数 4

ひとこと要約

本学位論文では、自然言語テキスト内の出来事間の時系列的および因果的関係を統合的に抽出するための統一フレームワーク、CATENAを提示する。因果性における時系列的優先性仮定（原因は結果よりも前に行われる）を活用することで、時系列順序と因果推論のための教師ありモデルを統合し、TempEval-3で最先端の性能を達成するとともに、強化された訓練データおよび単語埋め込みを用いることで英語、イタリア語、インドネシア語のあらゆる文脈で頑健な性能を示した。

ABSTRACT

Structured information resulting from temporal information processing is crucial for a variety of natural language processing tasks, for instance to generate timeline summarization of events from news documents, or to answer temporal/causal-related questions about some events. In this thesis we present a framework for an integrated temporal and causal relation extraction system. We first develop a robust extraction component for each type of relations, i.e. temporal order and causality. We then combine the two extraction components into an integrated relation extraction system, CATENA---CAusal and Temporal relation Extraction from NAtural language texts---, by utilizing the presumption about event precedence in causality, that causing events must happened BEFORE resulting events. Several resources and techniques to improve our relation extraction systems are also discussed, including word embeddings and training data expansion. Finally, we report our adaptation efforts of temporal information processing for languages other than English, namely Italian and Indonesian.

研究の動機と目的

• 出来事間の時系列的および因果的関係を統合的に抽出するシステムを開発し、出来事のタイムライン推論の精度と整合性を向上させること。
• 原因が結果よりも前に行われるという時系列的優先制約を活用することで、因果的関係と非因果的関係を区別する課題に取り組むこと。
• データ拡張技術および単語埋め込みを用いて、とりわけリソースが限られた環境下でも関係抽出の性能を向上させること。
• フレームワークを多言語処理に拡張し、英語に加えイタリア語およびインドネシア語でもその有効性を示すこと。
• 質問応答（QA）、要約作成、出来事追跡などのタスクに適用可能な、頑健でエンドツーエンドの時系列的および因果的情報処理システムを提供すること。

提案手法

• 2段階のパイプラインを設計する：まず、TimeMLアノテート済みコーパスで訓練された教師ありモデルを用いて、時系列関係（例：前、後、同時）を抽出する。
• 次に、因果関係（例：原因・結果、理由・結果）を、因果関係アノテート済みデータで訓練された教師あり分類器を用いて抽出し、時系列順序を重要な特徴とする。
• 両方のモジュールをCATENAに統合し、因果関係の抽出において原因が結果よりも前に発生するという制約を課すことで、誤検出を低減する。
• 単語埋め込み（例：ネガティブサンプリングを用いたSkip-gram）を用いて、出来事および時系列的／因果的キーワードの意味的表現を向上させる。
• バックトランスレーションやルールベースのデータ合成を含むデータ拡張技術を適用し、特にリソースが限られた言語の訓練データのカバレッジを向上させる。
• 多言語埋め込みと言語固有の言語資源（時系列表現の正規化を含む）を活用して、システムをイタリア語およびインドネシア語に適応させる。

実験結果

リサーチクエスチョン

• RQ1 統一フレームワークは、高い精度を維持しつつ、出来事間の時系列的および因果的関係を効果的に抽出できるか？
• RQ2 因果関係抽出において時系列的優先性を制約として適用することで、性能が向上し、誤った因果関係の推論が減少するか？
• RQ3 単語埋め込みおよびデータ拡張技術は、イタリア語やインドネシア語のようなリソースが限られた環境下で、関係抽出の性能をどの程度向上できるか？
• RQ4 システムはどの程度多言語に一般化可能であり、非英語テキストの処理に必要な言語的適応は何か？
• RQ5 時系列的および因果的抽出の統合が、タイムライン生成や質問応答などの下流NLPタスクに与える影響は何か？

主な発見

• CATENAはTempEval-3ベンチマークで最先端の性能を達成し、時系列的および因果的関係抽出の両面で先行研究を上回った。
• 時系列的優先性を制約として統合することで、誤検出された因果関係が顕著に減少し、因果分類の精度が向上した。
• 単語埋め込みおよびデータ拡張技術の使用により、F1スコアに顕著な向上が見られ、とりわけリソースが限られた環境下で顕著であった。
• システムは強力な多言語処理能力を示し、共有埋め込みと言語固有の前処理を用いてイタリア語およびインドネシア語への適応に成功した。
• TempEval-2およびHLTFBK評価を通じて、実世界のQAアプリケーションでも頑健な性能を示した。
• TempEval-3コーパスにおける因果関係のアノテーションから、因果関係はしばしば暗黙的であることが判明し、正確な検出には文脈的および構文的特徴が必要であることがわかった。