[論文レビュー] DEER: A Data Efficient Language Model for Event Temporal Reasoning.

Rujun Han, Xiang Ren+1 more|arXiv (Cornell University)|Dec 30, 2020

Topic Modeling被引用数 14

ひとこと要約

DEER は、イベントの時系列推論を特に目的としたデータ効率の良い言語モデルであり、ジェネレータ・ディスクリミネーターフレームワークを活用して低リソース環境でのパフォーマンスを向上させることを目的としている。DEER は、時系列関係に焦点を当てた合成学習データを生成することで、5つのベンチマークデータセットで最先端の結果を達成している。

ABSTRACT

Pretrained language models (LMs) such as BERT, RoBERTa, and ELECTRA are effective at improving the performances of a variety of downstream NLP tasks. Recently, researchers have incorporated domain and task-specific knowledge in these LMs' training objectives and further enhanced models' capability of handling downstream tasks. However, none of these LMs are designed specifically for event temporal reasoning. We propose DEER, a language model that is trained to focus on event temporal relations and performs better under low-resource settings than original LMs. More specifically, we create a large number of training samples to simulate the machine reading comprehension and information extraction tasks for event temporal understanding and leverage a generator-discriminator structure to reinforce the LMs' capability of event temporal reasoning. Our experimental results show that DEER can achieve SOTA results and works particularly well in low-resource settings across 5 widely used datasets.

研究の動機と目的

• イベントの時系列推論タスクに特に最適化された言語モデルの不足を解消すること。
• ラベル付きデータが乏しい低リソース状況下でのモデルパフォーマンスを向上させること。
• イベント間の時系列関係に明示的に焦点を当てたトレーニング戦略の開発。
• 事前学習済み言語モデルの機械的読解理解および情報抽出における時系列理解能力の強化。

提案手法

• イベントの時系列理解のための機械的読解および情報抽出タスクを模倣する学習サンプルを生成することで、大規模な合成データセットを作成すること。
• ジェネレータ・ディスクリミネーターアーキテクチャを採用し、イベント間の時系列関係を推論する能力を強化すること。
• イベントの順序付けと時系列依存関係に重点を置いた合成データで言語モデルをファインチューニングすること。
• タスク固有の知識を事前学習目的に統合し、時系列推論能力を強化すること。
• ジェネレータが時系列関係の予測を生成し、ディスクリミネーターがその正しさを評価する二重ストリームトレーニングメカニズムを用いること。
• 文脈内での正しいと誤った時系列関係を区別するためのコントラスト型目的関数を最適化すること。

実験結果

リサーチクエスチョン

• RQ1 時系列関係に焦点を当てた合成データで事前学習された言語モデルは、標準的な言語モデルに比べて低リソース環境で優れた性能を示すか？
• RQ2 ジェネレータ・ディスクリミネーターフレームワークは、標準的なファインチューニングに比べて時系列推論能力の向上にどの程度効果的か？
• RQ3 時系列関係データに対するタスク固有の事前学習は、多様なイベント時系列推論ベンチマークで一貫した改善をもたらすか？
• RQ4 DEER は、ラベル付きデータが限られた低リソースシナリオにどの程度一般化可能か？

主な発見

• DEER は、5つの広く使われているイベント時系列推論データセットで最先端のパフォーマンスを達成している。
• BERT や RoBERTa などの元の事前学習済み言語モデルに比べ、DEER は低リソース状況下でも優れた性能を示している。
• ジェネレータ・ディスクリミネータートレーニング方式は、正しい時系列関係を予測する能力を顕著に向上させている。
• 時系列推論のための合成データ生成は、下流タスクの精度向上に明確な恩恵をもたらしている。
• DEER は、限られたラベル付き例でも強いパフォーマンスを維持しており、そのデータ効率性が顕著に表れている。
• モデルの性能向上は、特に低リソース状況で顕著であり、データが乏しい環境を想定した設計の妥当性を裏付けている。