[論文レビュー] Extracting Temporal Event Relation with Syntactic-Guided Temporal Graph Transformer.

Shuaicheng Zhang, Lifu Huang+1 more|arXiv (Cornell University)|Apr 19, 2021

Topic Modeling参考文献 43被引用数 10

ひとこと要約

本稿では、文から構文的グラフを構築し、時間的指向のアテンションメカニズムを用いてイベント経路に沿った重要な手がかりを特定することで、イベント間の時間的関係をモデル化する構文的ガイド付き時系列グラフトランスフォーマーを提案する。MATRESおよびTB-Denseデータセットにおいて最先端の性能を達成し、エンドツーエンドの時系列関係抽出および分類の両面で、先行手法を上回っている。

ABSTRACT

Extracting temporal relations (e.g., before, after, concurrent) among events is crucial to natural language understanding. Previous studies mainly rely on neural networks to learn effective features or manual-crafted linguistic features for temporal relation extraction, which usually fail when the context between two events is complex or wide. Inspired by the examination of available temporal relation annotations and human-like cognitive procedures, we propose a new Temporal Graph Transformer network to (1) explicitly find the connection between two events from a syntactic graph constructed from one or two continuous sentences, and (2) automatically locate the most indicative temporal cues from the path of the two event mentions as well as their surrounding concepts in the syntactic graph with a new temporal-oriented attention mechanism. Experiments on MATRES and TB-Dense datasets show that our approach significantly outperforms previous state-of-the-art methods on both end-to-end temporal relation extraction and temporal relation classification.

研究の動機と目的

• 時系列関係抽出における複雑なまたは長距離の文脈的依存関係を扱う際の、従来のニューラルモデルおよびルールベース手法の限界を解消すること。
• 文の構文的構造を明示的にモデル化することで、イベント間の時間的つながりの特定を向上させること。
• 新規なアテンションメカニズムを用いて、イベント経路および周辺概念から最も特徴的な時系列的手がかりを自動的に局所化すること。
• 現在の最先端手法を上回るエンドツーエンドの時系列関係抽出および分類タスクのパフォーマンス向上を図ること。

提案手法

• 1つまたは2つの連続する文から構文的グラフを構築し、語とイベント間の構文的依存関係を表現する。
• イベントの表記およびその周辺概念をグラフ内のノードとして表現し、依存関係をエッジとして配置する。
• 2つのイベント表記間の最も関連性の高い経路および手がかりに注目するため、時間的指向のアテンションメカニズムを適用する。
• グラフトランスフォーマーのアーキテクチャを用いて構文的構造を符号化し、関係分類のための文脈的表現を学習する。
• アノテート済みデータセット上でエンドツーエンドに学習し、before、after、concurrentなどの時系列関係を予測する。
• 構文的構造における経路ベースの推論および手がかり局所化に注目することで、人間の認知的推論に類似した処理を実現する。

実験結果

リサーチクエスチョン

• RQ1 構文的グラフ表現は、時系列関係抽出における長距離または複雑な文脈的依存関係のモデル化を改善できるか？
• RQ2 専用の時間的指向アテンションメカニズムは、イベント経路に沿った最も特徴的な手がかりをどれほど効果的に特定できるか？
• RQ3 グラフベースのトランスフォーマーに構文的構造を統合することで、標準的なニューラルネットワークと比較して、時系列関係分類のパフォーマンスが向上するか？
• RQ4 モデルは、現実世界のテキストにおける多様な時系列関係パターンにどの程度一般化できるか？

主な発見

• 提案手法はMATRESベンチマークで最先端の性能を達成し、エンドツーエンドの時系列関係抽出において、従来手法を顕著に上回っている。
• TB-Denseデータセットでは、時系列関係分類において優れた結果を示しており、多様な時間的パターンへの強い一般化能力を示している。
• 構文的グラフの使用により、複雑なまたは広い文脈の状況下でも、時系列的手がかりの正確な特定が可能になった。
• 時間的指向アテンションメカニズムは、関連する経路および手がかりを効果的に強調しており、解釈可能性とパフォーマンスの両方を向上させた。
• 従来のモデルが苦手としているイベント間の長距離依存関係に対しても、本モデルは頑健であることが示された。
• アブレーションスタディの結果、構文的グラフの構築および時間的アテンションメカニズムの両方が、全体的なパフォーマンス向上に顕著な寄与をしていることが確認された。