[論文レビュー] Effective Distant Supervision for Temporal Relation Extraction

Xinyu Zhao, Shih-Ting Lin+1 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 22被引用数 4

ひとこと要約

本稿では、明示的な時系列的キーワード（例：'before'、'after'、timex）を用いて自動的にイベントペアを収集・ラベル付けする、時系列関係抽出のための新規な遠隔教師付き手法を提案する。その後、これらのキーワードをマスクすることで、モデルが暗黙の文脈的信号に依存するように強制する。事前学習されたTransformerモデルをこのマスク済みデータで微調整した結果、人間がアノテートしたベンチマークにおいて強力なゼロショットおよびフェイントショットの転移性能を達成し、RoBERTaはMATRESで79.8のF1を達成した。これは、合成的で遠隔教師付きのデータから効果的な一般化が可能であることを示している。

ABSTRACT

A principal barrier to training temporal relation extraction models in new domains is the lack of varied, high quality examples and the challenge of collecting more. We present a method of automatically collecting distantly-supervised examples of temporal relations. We scrape and automatically label event pairs where the temporal relations are made explicit in text, then mask out those explicit cues, forcing a model trained on this data to learn other signals. We demonstrate that a pre-trained Transformer model is able to transfer from the weakly labeled examples to human-annotated benchmarks in both zero-shot and few-shot settings, and that the masking scheme is important in improving generalization.

研究の動機と目的

• 新しいドメインにおける時系列関係抽出のための高品質で多様な学習データの不足を解決すること。
• 外部知識ベースに依存せずに、自動的に遠隔教師付きの例を生成する手法を開発すること。
• 明示的な時系列的指標をマスクすることで、文脈的信号に依存するようモデルの一般化を向上させること。
• 事前学習モデルが自動収集されたマスク済み例から人間がアノテートしたベンチマークへ効果的に転移できるかどうかを評価すること。
• 異なる遠隔教師付き信号のソース（会話接続詞対timexアンカードイベント）の有効性を比較すること。

提案手法

• 英語Gigawordからヒューリスティックルールを用いて、会話接続詞（例：'before'、'after'）やtimex（例：'yesterday'、'now'）といった明示的な時系列的キーワードを特定し、イベントペアを収集する。
• これらのキーワードに基づいて自動的にイベントペアをラベル付けし、大規模な遠隔教師付きデータセットを構築する。
• 入力テキスト内の明示的な時系列的指標（例：'before'、'after'、'2020'）を隠すマスク戦略を適用し、モデルが文脈のみから関係を推論するように強制する。
• イベント埋め込みを連結、要素ごとの乗算、および減算によって統合する分類ヘッドを用いて、事前学習済みRoBERTaモデルをマスク済み例で微調整する。
• MATRESなどの人間がアノテートしたベンチマークで、ゼロショットおよびフェイントショットの設定で推論を実行する。
• F1スコアを用いて性能を評価し、ベースラインおよび多数派クラスと比較する。

実験結果

リサーチクエスチョン

• RQ1 事前学習されたTransformerモデルは、自動収集された遠隔教師付きの時系列関係例から人間がアノテートしたベンチマークへ効果的に一般化できるか？
• RQ2 明示的な時系列的キーワードをマスクすることで、モデルの一般化および下流タスクにおける性能にどのような影響を与えるか？
• RQ3 低リソース環境下で、会話接続詞とtimexアンカードイベントのどちらの遠隔教師付き信号ソースがより優れた一般化をもたらすか？
• RQ4 遠隔教師付きデータにおけるイベントの分布（例：動詞の種類、意味的性質）は、人間がアノテートしたデータセットへの転送性能に影響を与えるか？
• RQ5 提案されたラベル付け・マスクパラダイムは、時系列関係抽出を超えた他のNLPタスクのための有効な学習データ作成に応用可能か？

主な発見

• トレーニング中に明示的な時系列的キーワードをマスクすることで、MATRESベンチマークにおける一般化性能が顕著に向上し、特にtimexアンカード例を用いた場合に顕著である。
• RoBERTaを用いた場合、MATRESでF1スコア79.8を達成し、過去の局所モデルによる最先端性能と同等となった。
• 会話接続詞に基づくBeforeAfter手法と比較して、timexアンカードイベントを用いるDistantTimex手法は、特にゼロショットおよびフェイントショット転移において優れた性能を示した。
• DistantTimexデータセットにおけるイベントの分布は、BeforeAfterデータセットよりも多様で意味的に複雑であることが判明し、これがより良い一般化に寄与している可能性がある。
• マスク済みDistantTimexデータで学習したモデルは多数派ベースラインよりも一般化性能が優れており、単なる明確な信号に依存するのではなく、意味的で暗黙の時系列的信号を学習していることが示された。
• このアプローチにより、人間がアノテートしたベンチマークへの効果的なゼロショットおよびフェイントショットの転移が可能となり、低リソースな時系列関係抽出における合成データの有効性が裏付けられた。