[論文レビュー] WebRED: Effective Pretraining And Finetuning For Relation Extraction On The Web

Róbert Ormándi, Mohammad Saleh+2 more|arXiv (Cornell University)|Feb 18, 2021

Natural Language Processing Techniques参考文献 27被引用数 7

ひとこと要約

WebREDは、ウェブテキストから抽出された約11万件の強力な教師あり例と、約2億件の弱教師あり事前学習例を併せ持つ、大規模で多様な人間によるアノテーションが施された関係抽出データセットを紹介する。本研究では、弱教師ありデータで事前学習したモデルを、高品質な人間によるアノテーションデータで微調整することで、F1スコアが著しく向上することを示しており、遠隔教師あり学習やゼロから学習するモデルよりも優れた性能を発揮することを実証している。

ABSTRACT

Relation extraction is used to populate knowledge bases that are important to many applications. Prior datasets used to train relation extraction models either suffer from noisy labels due to distant supervision, are limited to certain domains or are too small to train high-capacity models. This constrains downstream applications of relation extraction. We therefore introduce: WebRED (Web Relation Extraction Dataset), a strongly-supervised human annotated dataset for extracting relationships from a variety of text found on the World Wide Web, consisting of ~110K examples. We also describe the methods we used to collect ~200M examples as pre-training data for this task. We show that combining pre-training on a large weakly supervised dataset with fine-tuning on a small strongly-supervised dataset leads to better relation extraction performance. We provide baselines for this new dataset and present a case for the importance of human annotation in improving the performance of relation extraction from text found on the web.

研究の動機と目的

• 既存の関係抽出データセットの限界に対処する。具体的には、ノイズの多いラベル（遠隔教師あり）、ドメイン特異性、またはスケールの小ささの問題を解消する。
• 実世界のウェブテキストを複数のドメインや文体でカバーする、大規模で多様で高品質な人間によるアノテーション付きデータセットを構築する。
• 大規模な弱教師あり事前学習と、小規模だが高品質な人間によるアノテーションデータセットでの微調整を組み合わせたハイブリッドなトレーニング戦略が、関係抽出の性能を向上させることを実証する。
• 強教師あり学習の重要性を実証的根拠として提示する。具体的には、誤検出の低減、モデルの精度向上、一般化性能の向上に寄与することを示す。

提案手法

• ウィキデータのプロパティを用いた遠隔教師あり法により、ウェブテキストから約2億件の弱教師あり例を収集し、大規模な事前学習を可能にする。
• 多様なウェブソースから抽出した文を対象に、ウィキデータプロパティのサブセットを用いて人間がエンティティ-関係ペアを手動でラベル付けすることで、約11万件のアノテーション済みデータセットを構築する。
• 各例を（タグ付き文、関係タイプ）のペアとして扱う多クラス分類フレームワークを採用し、エンティティは明示的に#{SUBJ}および#{OBJ}としてマークする。
• 2段階のパイプラインを用いてモデルを訓練する：まず弱教師ありデータセット（WebRED_DS）で事前学習し、その後人間アノテーションのサブセット（WebRED_H2+1）で微調整する。
• 関係分類にBERT風のトランスフォーマーモデルを採用し、文とエンティティの役割を両方とも入力表現に組み込む。
• 低品質な弱教師ありラベルを除去し、事前学習データのラベル一貫性を高めるために、後処理とフィルタリングを実施する。

実験結果

リサーチクエスチョン

• RQ1 大規模な弱教師あり事前学習と、小規模だが高品質な人間アノテーションデータセットでの微調整を組み合わせたハイブリッドトレーニング戦略は、単独で弱教師ありデータや人間アノテーションデータで学習する場合と比較して、関係抽出の性能を向上させることができるか？
• RQ2 教師ありラベルの質（遠隔教師あり vs. 人間アノテーション）が、さまざまな関係タイプにおけるモデルの精度、再現率、F1スコアに与える影響は何か？
• RQ3 関係タイプごとのデータの不均衡がモデル性能に与える影響はどの程度か。また、事前学習がこの問題をどのように緩和するか？
• RQ4 事前学習データにおける文の長さと関係の頻度が、関係抽出モデルの一般化性能およびロバストネスに与える影響は何か？
• RQ5 遠隔教師あり学習におけるラベルの正確性（誤検出率）が、下流のモデル性能に与える影響は何か。また、人間によるアノテーションがこの問題をどのように是正するか？

主な発見

• 2億件の弱教師あり例で事前学習したモデルを、11万件の高品質な人間アノテーションデータで微調整することで、ゼロから学習する場合や弱教師あり学習のみで学習する場合と比較して、著しく高いF1スコアが達成される。
• 人間アノテーションデータで微調整したモデルは、'country'関係において、精度0.81、再現率0.58を達成した。一方、事前学習のみのモデルは、精度0.58、再現率0.63であった。これは、より良いネガティブ例の品質のおかげで精度が向上したことを示している。
• 'diplomatic relation'（99％の誤検出率）のような高誤検出率の関係では、微調整済みモデルがF1スコア1.00を達成したが、事前学習のみのモデルはF1スコア0.01にとどまった。これは、強い教師あり学習がノイズの多いラベルを是正する上で極めて重要であることを示している。
• 文の長さが延びるにつれて性能は低下するが、事前学習済みかつ微調整済みのモデルは、すべての長さの文で著しく高いF1スコアを維持しており、特に長いシーケンスにおいて顕著な優位性を示している。
• 事前学習頻度が高い関係では性能が向上するが、ある閾値を超えると増益が収束する。これは、最適なモデル一般化性能を達成するにはデータバランスの整備が不可欠であることを示している。
• 人間アノテーションデータのみで学習したモデルは、事前学習済みかつ微調整済みモデル（'spouse'関係で再現率0.86）と比較して再現率が低い（0.58）ことが確認された。これは、高品質なデータで微調整しても、大規模な弱教師ありデータでの事前学習がカバレッジを確保するために不可欠であることを裏付けている。