[論文レビュー] Temporal Relation Extraction with a Graph-Based Deep Biaffine Attention Model

Bo-Ying Su, Shang-Ling Hsu+2 more|arXiv (Cornell University)|Jan 16, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文では、事前にイベントアノテーションが不要なエンドツーエンドの方法で、イベントアーキと時系列関係ラベルを共同で予測するグラフベースのディープバイアフィン注意力モデルを提案する。アーキと関係予測を別々のバイアフィンモジュールで分離することにより、ベンチマークデータセットで最先端のF1スコアを達成するとともに、完全に並列化可能な計算により推論速度を39%高速化した。

ABSTRACT

Temporal information extraction plays a critical role in natural language understanding. Previous systems have incorporated advanced neural language models and have successfully enhanced the accuracy of temporal information extraction tasks. However, these systems have two major shortcomings. First, they fail to make use of the two-sided nature of temporal relations in prediction. Second, they involve non-parallelizable pipelines in inference process that bring little performance gain. To this end, we propose a novel temporal information extraction model based on deep biaffine attention to extract temporal relationships between events in unstructured text efficiently and accurately. Our model is performant because we perform relation extraction tasks directly instead of considering event annotation as a prerequisite of relation extraction. Moreover, our architecture uses Multilayer Perceptrons (MLP) with biaffine attention to predict arcs and relation labels separately, improving relation detecting accuracy by exploiting the two-sided nature of temporal relationships. We experimentally demonstrate that our model achieves state-of-the-art performance in temporal relation extraction.

研究の動機と目的

• 従来の2段階型時系列関係抽出パイプラインの非効率性と精度制限を解消すること。
• 時系列関係の二面性をより効果的にモデル化することで性能を向上させること。
• 推論中に事前のイベントアノテーションに依存しないようにし、真のエンドツーエンドの関係抽出を実現すること。
• 関係予測におけるネストされたループを回避する並列化可能なアーキテクチャにより推論を高速化すること。
• アーキ予測と関係分類を分離することで、曖昧な関係（NONE/VAGUE）の検出が向上することを示すこと。

提案手法

• 文脈的なトークン埋め込みのため、微調整されたBERTモデルを用いる。
• 入力シーケンスの文脈的表現を符号化するために、双方向LSTMを用いる。
• 2つの異なるバイアフィン注意力モジュールを導入：1つはアーキ（関係の存在）を予測するため、もう1つは関係ラベルを予測するため。
• トップスコアのアーキと関係予測を統合する軽量なデコーダーを統合し、最終的な時系列関係グラフを構築する。
• アーキ予測ヘッドと関係予測ヘッドの両方で共通クロスエントロピー損失を用いたマルチタスク学習によりモデルを最適化する。
• アーキ予測と関係予測を分離することで、逐次的なイベントペアの列挙を回避し、完全に並列化可能な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ゴールドのイベントスパンが推論時に必要とされない統合的エンドツーエンドモデルは、2段階型アプローチを上回る性能を発揮できるか？
• RQ2 アーキ予測（関係の存在）と関係ラベル分類を分離することで、特にNONEおよびVAGUE関係において性能が向上するか？
• RQ3 バイアフィン注意力メカニズムにより、時系列関係の二面性を活用することで関係検出の正確性が向上するか？
• RQ4 並列化可能なアーキテクチャは、F1スコアを損なわせることなく、推論時間をどの程度短縮できるか？
• RQ5 精度と計算効率の両面で、提案手法は最先端のベースラインと比較してどのように差をつけるか？

主な発見

• 本モデルは、TB-Denseデータセットで50.9の最先端のF1スコアを達成し、先行するSOTAベースラインを上回った。
• TB-Dense上での推論速度は1秒間に452文に達し、前例に比べ39%の高速化を実現した。
• アブレーションスタディの結果、専用のARCモジュールを削除するとF1スコアが最大1.5ポイント低下し、特にVAGUE関係の検出に悪影響を与えた。
• バイアフィン注意力メカニズムは、標準的な線形層よりもわずかに性能が向上し、平均的にも高速に動作した。
• ARCモジュールを無効化しても高い精度を維持できるが、VAGUE関係の性能は著しく低下し、専用のアーキ予測の価値を裏付けた。
• 提案されたアーキテクチャにより、完全に並列化可能なデコーディングが実現され、従来のシステムで使われていた非並列化可能なネストされたループが排除された。