[論文レビュー] Resolving the Scope of Speculation and Negation using Transformer-Based Architectures

Benita Kathleen Britto, Aditya Khandelwal|arXiv (Cornell University)|Jan 9, 2020

Topic Modeling参考文献 21被引用数 11

ひとこと要約

本稿では、BERT、XLNet、RoBERTaを用いた予測および否定のスコープ解釈の手法を提案し、BioScopeおよびSFUデータセットで最先端の結果を達成した。複数のデータセットを統合して訓練することで性能が向上し、XLNetはBERTおよびRoBERTaを常に上回った。特に、スコープ解釈のような系列ラベル付けタスクにおいて顕著であった。

ABSTRACT

Speculation is a naturally occurring phenomena in textual data, forming an integral component of many systems, especially in the biomedical information retrieval domain. Previous work addressing cue detection and scope resolution (the two subtasks of speculation detection) have ranged from rule-based systems to deep learning-based approaches. In this paper, we apply three popular transformer-based architectures, BERT, XLNet and RoBERTa to this task, on two publicly available datasets, BioScope Corpus and SFU Review Corpus, reporting substantial improvements over previously reported results (by at least 0.29 F1 points on cue detection and 4.27 F1 points on scope resolution). We also experiment with joint training of the model on multiple datasets, which outperforms the single dataset training approach by a good margin. We observe that XLNet consistently outperforms BERT and RoBERTa, contrary to results on other benchmark datasets. To confirm this observation, we apply XLNet and RoBERTa to negation detection and scope resolution, reporting state-of-the-art results on negation scope resolution for the BioScope Corpus (increase of 3.16 F1 points on the BioScope Full Papers, 0.06 F1 points on the BioScope Abstracts) and the SFU Review Corpus (increase of 0.3 F1 points).

研究の動機と目的

• トランスフォーマーに基づくアーキテクチャを用いて、生体医療テキストにおける予測および否定のスコープ解釈を改善すること。
• 複数のデータセットで統合して訓練することで、モデルの汎化性能および性能が向上するかどうかを調査すること。
• BERT、XLNet、RoBERTaのうち、不確実性および否定に関連する系列ラベル付けタスクにおける有効性を比較すること。
• 標準的なGLUEベンチマークとは対照的に、なぜXLNetがこの文脈でRoBERTaを上回るのかを特定すること。
• 公開データセットにおいて、予測および否定のスコープ解釈タスクの両方で最先端の結果を確立すること。

提案手法

• トークンレベル分類による系列ラベル付けを用いて、予測および否定検出タスクに、BERT、XLNet、RoBERTaの3つのトランスフォーマー・モデルを微調整した。
• 各データセットに対して標準的な70-15-15の訓練・検証・テスト分割を適用し、単一データセット訓練では5回、統合訓練では3回の実験を実施した。
• Google Colab上でHugging FaceのPyTorch実装を用いてモデルの訓練および推論を実施した。
• 複数のデータセット（BF、BA、SFU）の訓練および検証データを統合して統合訓練を実施したが、テストデータは評価用に別々に保持した。
• 系列ラベル付けのため、標準的なトークン化およびラベルエンコーディング（1: 正常なキュー、2: 多語彙キュー、3: キューでない、4: パディング）を採用した。
• F1スコアを用いてモデルを評価し、統計的安定性を確保するため、複数回の実験結果を平均化した。

実験結果

リサーチクエスチョン

• RQ1 BERT、XLNet、RoBERTaのようなトランスフォーマー・ベースのモデルは、予測および否定のスコープ解釈タスクで最先端の性能を達成できるか？
• RQ2 BioScope Abstracts、BioScope Full Papers、SFU Review Corpusなどの複数のデータセットで統合して訓練することで、単一データセット訓練に比べてモデルの汎化性能および性能が向上するか？
• RQ3 標準的なNLPベンチマークではRoBERTaが優れた性能を示すにもかかわらず、なぜこの系列ラベル付けタスクではXLNetがRoBERTaを上回るのか？
• RQ4 生体医療テキストのドメイン固有の特徴が、モデルの性能および移行性にどの程度影響を与えるか？
• RQ5 同じモデルアーキテクチャが、予測および否定のスコープ解釈タスクの両方で最先端の結果を達成できるか？

主な発見

• 複数のデータセットでの統合訓練により、全モデルで性能向上が見られた。特にBioScope Full Papersデータセットでは、予測検出で最大10.6 F1ポイント、スコープ解釈で2.16 F1ポイントの向上を達成した。
• XLNetは、全データセットで予測および否定タスクの両方で最高のF1スコアを記録し、BERTおよびRoBERTaを一貫して上回った。
• 予測スコープ解釈では、BioScope Abstractsデータセットで先行研究比4.27 F1ポイント、BioScope Full Papersデータセットで8.06 F1ポイントの向上を達成した。
• 否定スコープ解釈では、BioScope Full Papersデータセットで3.16 F1ポイント、SFU Review Corpusで0.3 F1ポイントの向上を達成し、新たな最先端結果を樹立した。
• XLNetとRoBERTaの性能差は、標準的なGLUEベンチマークよりも系列ラベル付けタスクで顕著であり、アーキテクチャの違いが系列予測においてより大きな影響を及ぼす可能性を示唆している。
• SFU Review Corpusは、BioScopeデータセットに比べてより優れた汎化性能を示した。これは、ドメインや文構造の違いに起因する可能性がある。