[論文レビュー] EventBERT: A Pre-Trained Model for Event Correlation Reasoning

Yucheng Zhou, Xiubo Geng+3 more|arXiv (Cornell University)|Oct 13, 2021

Topic Modeling被引用数 9

ひとこと要約

EventBERT は、大量のイベントを含むパラグラフから成るコーパスをマイニングし、3つの新しい自己教師あり目的を導入することで、ラベルなしテキストからイベント相関推論を学ぶ事前学習言語モデルである。4つの下流タスクで最先端の性能を達成し、ゼロショット設定では強力なベースラインを最大23%上回っている。

ABSTRACT

Event correlation reasoning infers whether a natural language paragraph containing multiple events conforms to human common sense. For example, "Andrew was very drowsy, so he took a long nap, and now he is very alert" is sound and reasonable. In contrast, "Andrew was very drowsy, so he stayed up a long time, now he is very alert" does not comply with human common sense. Such reasoning capability is essential for many downstream tasks, such as script reasoning, abductive reasoning, narrative incoherence, story cloze test, etc. However, conducting event correlation reasoning is challenging due to a lack of large amounts of diverse event-based knowledge and difficulty in capturing correlation among multiple events. In this paper, we propose EventBERT, a pre-trained model to encapsulate eventuality knowledge from unlabeled text. Specifically, we collect a large volume of training examples by identifying natural language paragraphs that describe multiple correlated events and further extracting event spans in an unsupervised manner. We then propose three novel event- and correlation-based learning objectives to pre-train an event correlation model on our created training corpus. Empirical results show EventBERT outperforms strong baselines on four downstream tasks, and achieves SoTA results on most of them. Besides, it outperforms existing pre-trained models by a large margin, e.g., 6.5~23%, in zero-shot learning of these tasks.

研究の動機と目的

• 自然言語におけるイベント相関推論のための多様な常識的知識の不足という課題に対処すること。
• トークンレベルのパターンに依存するのではなく、イベント間の論理的・話法的関係を捉える事前学習モデルを開発すること。
• 大規模なラベルなしコーパスから、イベント豊富で相関のあるパラグラフをスケーラブルに収集する非教師あり手法を構築すること。
• イベント相関を明示的にモデル化する自己教師あり学習目的を設計し、標準的なマスク言語モデル化を越えた推論を向上させること。
• タスク固有の微調整なしに、強力なゼロショットおよびフェイントショット性能を下流のイベント推論タスクで実現すること。

提案手法

• モデルは、非教師ありフィルタリングおよびイベントスパン検出を用いて抽出された、複数の相関するイベントを含む自然言語パラグラフの巨大スケールで自動構築されたコーパス上で事前学習される。
• モデルは3つの新しい自己教師あり目的を使用する：(1) 相関に基づくイベントランク付けにより、妥当なイベント順序を学ぶ。 (2) 矛盾するイベントペアを特定するための矛盾イベントタグ付け。 (3) 要因的・時間的などのイベント関係を分類する話法的関係ランク付け。
• トレーニングプロセスは、RoBERTa から継続的な事前学習を実行し、トークンレベルのマスキングではなく、イベントレベルの表現に焦点を当てる。
• イベントスパンは、非教師ありイベント抽出パイプラインを用いてパラグラフ内で明示的に特定され、モデルがイベントを意味的単位として推論できるようにする。
• モデルアーキテクチャは BERT をベースとし、ストーリークローズや帰納的推論などの下流タスク向けに微調整されたヘッド層を備えている。
• 評価にはゼロショット推論とフェイントショット微調整が含まれ、複数のベンチマークで EventBERT を RoBERTa や他の強力なベースラインと比較している。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーションのないイベント関係なしに、純粋にラベルなしテキストから、堅牢なイベント相関推論を学べるか？
• RQ2 標準的なマスク言語モデル化と比較して、イベントに注意を向けた相関に基づく自己教師あり目的は、イベントレベルの常識的知識をどれほど効果的に捉えられるか？
• RQ3 イベント相関データで事前学習したモデルは、下流の推論タスクにおいてゼロショットおよびフェイントショット設定にどの程度一般化できるか？
• RQ4 明示的なイベント境界検出と相関目的を含めることで、標準的な事前学習パラダイムに比べて推論性能が向上するか？
• RQ5 微調整データが限られた場合、ベースラインと比較してモデルの性能はどの程度向上するか？

主な発見

• EventBERT は、ストーリークローズ、スクリプト推論、物語の不整合検出、帰納的推論の4つの下流タスクで最先端の性能を達成した。
• ゼロショット設定では、4つのタスクで RoBERTa を 6.5% から 23% の絶対ポイント上回り、事前学習からの強力な一般化を示した。
• 学習データの10%のみで、EventBERT は RoBERTa が全データで微調整した性能と同等の結果を達成した。これは、高いデータ効率性を示している。
• アブレーションスタディの結果、3つの提案目的（CER, CET, DRR）のいずれかを削除すると性能が低下し、特に相関に基づくイベントランク付け（CER）を除いた場合に最大2.36%の低下が観察された。
• EventBERT は、標準的なスパンベースのマスク言語モデル化（Event-Span MLM）を用いたベースラインを3%上回り、イベント相関に特化した目的の優位性を裏付けた。
• 構築したコーパスでの評価では、同じデータ上で MLM を用いて微調整された RoBERTa でさえも、イベント相関を学習できなかった。これは、このタスクの難易度と非自明性を確認している。