[論文レビュー] An Improved Neural Baseline for Temporal Relation Extraction

Ning Qiang, Sanjay Subramanian+1 more|arXiv (Cornell University)|Sep 1, 2019

Topic Modeling参考文献 45被引用数 4

ひとこと要約

この論文は、文脈付き埋め込み、時間的常識知識用のシアンエッセンサーエンコーダー、およびグローバル推論用の整数線形プログラミングを用いた強力なニューラルベースラインを提案する。2つのベンチマークデータセットにおいて、先行研究の最良手法よりも10%のF1スコア向上（25%の誤差低減）を達成しており、モデル性能がアーキテクチャよりもデータ品質に制限されていることを示している。

ABSTRACT

Determining temporal relations (e.g., before or after) between events has been a challenging natural language understanding task, partly due to the difficulty to generate large amounts of high-quality training data. Consequently, neural approaches have not been widely used on it, or showed only moderate improvements. This paper proposes a new neural system that achieves about 10% absolute improvement in accuracy over the previous best system (25% error reduction) on two benchmark datasets. The proposed system is trained on the state-of-the-art MATRES dataset and applies contextualized word embeddings, a Siamese encoder of a temporal common sense knowledge base, and global inference via integer linear programming (ILP). We suggest that the new approach could serve as a strong baseline for future research in this area.

研究の動機と目的

• 訓練データの品質が低いことが原因で、ニューラルモデルの時間的関係抽出性能が制限されているという問題に取り組む。
• このタスクにおいて、ニューラルアーキテクチャかデータ品質のどちらが主なボトルネックであるかを評価する。
• 今後の時間的関係抽出分野の研究のための強力で公開可能なニューラルベースラインを確立する。
• 異なる単語埋め込み手法および知識注入の影響がモデル性能に与える影響を調査する。

提案手法

• イベントを含む文のペアを表現するために、文脈付き単語埋め込み（ELMo、BERT）を用いたBi-LSTMエンコーダーを採用する。
• TemProbから得られる時間的常識知識をエンコードするためのシアンエッセンサーニューラルネットワークを用い、典型的な出来事の順序に関する事前知識を注入する。
• 予測された時間的関係に推移性制約を強制するために、整数線形プログラミング（ILP）を用いたグローバル推論を適用する。
• イベント表現と位置に敏感なエンコーディングおよび連結戦略を組み合わせることで、相対的な出来事の順序のモデリングを向上させる。
• MATRESデータセット上でエンドツーエンドに訓練する。このデータセットは、以前のデータセットと比較して、より高いアノテーション品質とアノテーター間整合性を有する。
• 包括的な性能評価のため、正確性、精度／再現率／F1、および意識スコアの3つの指標を用いた評価フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルと特徴ベースモデルの間の性能格差は、モデルアーキテクチャの問題か、データ品質の問題に起因するか？
• RQ2 文脈付き単語埋め込み（例：BERT、ELMo）は、時間的関係抽出においてどの程度性能を発揮するか？
• RQ3 外部の時間的常識知識を注入することで、ニューラルモデルの性能はどの程度向上するか？
• RQ4 整数線形プログラミングによるグローバル推論は、時間的関係予測の整合性と正確性を向上させることができるか？
• RQ5 提案されたシステムは、今後の時間的関係抽出分野における強力で汎用性の高いベースラインとして適しているか？

主な発見

• 提案されたシステムは、MATRESデータセットにおいて、先行研究の最良手法であるCogCompTimeシステムよりも10%のF1スコアの絶対的向上を達成し、誤差は25%低減した。
• 文脈付き埋め込み（ELMoおよびBERT）は、静的埋め込み（word2vec、GloVe、FastText）を著しく上回り、McNemar検定によるp < 0.001の有意差を示した。
• ELMoまたはBERTを問わず、CSE（常識エンコーダー）を追加することで、ベースラインの連結戦略に比べて性能が向上し、p < 0.001の有意差を示した。
• BERTを用いた完全なパイプラインを適用した場合、MATRESではF1スコア78.4、TCRでは74.9を達成し、CogCompTimeを著しく上回った。
• 本研究は、MATRESのような高品質なデータが、ニューラルモデルが以前の特徴ベースシステムを上回ることを可能にすることを確認しており、データ品質が主なボトルネックであることを示している。
• BERTの他のNLPタスクにおける優位性にもかかわらず、ELMoとBERTの間には有意な性能差が認められなかった。