[論文レビュー] NegBERT: A Transfer Learning Approach for Negation Detection and Scope Resolution

Aditya Khandelwal, Suraj Sawant|arXiv (Cornell University)|Nov 11, 2019

Natural Language Processing Techniques参考文献 39被引用数 49

ひとこと要約

NegBERT は BERT を用いた転移学習を否定検出とスコープ解決に適用し、BioScope、Sherlock、SFU の4つのベンチマークに跨るトークンレベル F1 で最先端を達成します。

ABSTRACT

Negation is an important characteristic of language, and a major component of information extraction from text. This subtask is of considerable importance to the biomedical domain. Over the years, multiple approaches have been explored to address this problem: Rule-based systems, Machine Learning classifiers, Conditional Random Field Models, CNNs and more recently BiLSTMs. In this paper, we look at applying Transfer Learning to this problem. First, we extensively review previous literature addressing Negation Detection and Scope Resolution across the 3 datasets that have gained popularity over the years: the BioScope Corpus, the Sherlock dataset, and the SFU Review Corpus. We then explore the decision choices involved with using BERT, a popular transfer learning model, for this task, and report state-of-the-art results for scope resolution across all 3 datasets. Our model, referred to as NegBERT, achieves a token level F1 score on scope resolution of 92.36 on the Sherlock dataset, 95.68 on the BioScope Abstracts subcorpus, 91.24 on the BioScope Full Papers subcorpus, 90.95 on the SFU Review Corpus, outperforming the previous state-of-the-art systems by a significant margin. We also analyze the model's generalizability to datasets on which it is not trained.

研究の動機と目的

• 情報抽出、特に生物医学領域における否定検出とスコープ解決の重要性を動機づける。
• 否定検出の既存手法とデータセット（BioScope、Sherlock、SFU Review Corpus）を調査する。
• 否定タスクへの BERT を用いた転移学習を調査し、強力なベースラインを確立する。
• 複数のデータセットにわたる最先端のスコープ解決性能を実証する。

提案手法

• 否定検出とスコープ解決タスクに BERT ベースの転移学習を適用する。
• 否定タスクへの適用のための BERT の適応に関する意思決定の選択肢を実験する。
• 確立された指標を用いて4つのデータセットでトークンレベルのスコープ解決性能を評価する。
• 従来の最先端システムと比較して改善を評価する。
• 訓練中に見なかったデータセットへの一般化の分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 BERT ベースの転移学習は従来法よりも否定検出とスコープ解決を改善できるか？
• RQ2 否定スコープタスクに適応するための最良のファインチューニング選択肢は何か？
• RQ3 複数のコーパス（BioScope Abstracts、BioScope Full Papers、Sherlock、SFU）に対して、NegBERTは従来の方法と比較してどうパフォーマンスを示すか？
• RQ4 NegBERT は見たことのないデータセットに対してどれくらい一般化できるか？

主な発見

• NegBERT は Sherlock で 92.36 のトークンレベル F1、BioScope Abstracts で 95.68、BioScope Full Papers で 91.24、SFU Review Corpus で 90.95 の F1 を達成。
• NegBERT は報告された全データセットで従来の最先端システムを大幅に上回る。
• モデルは多様な否定コーパスにわたって強い一般化能力を示す。
• 本論文は否定タスクへの BERT 適用における転移学習の選択肢の分析を提供する。
• この知見は当時、NegBERT を否定スコープ解決の先導的手法として位置づける。