[論文レビュー] BioFLAIR: Pretrained Pooled Contextualized Embeddings for Biomedical Sequence Labeling Tasks

Shreyas Sharma, Ron Daniel|arXiv (Cornell University)|Aug 13, 2019

Topic Modeling参考文献 12被引用数 16

ひとこと要約

この論文では、PubMedデータで微調整されたコンテキスト埋め込みモデルであるBioFLAIRを紹介している。バイオメディカルな系列ラベリングタスクにおいて、1つのベンチマークで最先端の性能を達成しており、計算コストを抑えながらもBERTレベルの結果を達成している。さらに、BioFLAIRを他のモデルとスタックすることで性能が向上するが、追加の事前学習には明確な利点がないことが示された。

ABSTRACT

Biomedical Named Entity Recognition (NER) is a challenging problem in biomedical information processing due to the widespread ambiguity of out of context terms and extensive lexical variations. Performance on bioNER benchmarks continues to improve due to advances like BERT, GPT, and XLNet. FLAIR (1) is an alternative embedding model which is less computationally intensive than the others mentioned. We test FLAIR and its pretrained PubMed embeddings (which we term BioFLAIR) on a variety of bio NER tasks and compare those with results from BERT-type networks. We also investigate the effects of a small amount of additional pretraining on PubMed content, and of combining FLAIR and ELMO models. We find that with the provided embeddings, FLAIR performs on-par with the BERT networks - even establishing a new state of the art on one benchmark. Additional pretraining did not provide a clear benefit, although this might change with even more pretraining being done. Stacking the FLAIR embeddings with others typically does provide a boost in the benchmark results.

研究の動機と目的

• バイオメディカルな系列ラベリングのための、BERT型モデルの計算効率の良い代替手段を開発すること。
• PubMedデータで事前学習されたFLAIR埋め込み（BioFLAIR）の、複数のバイオメディカルNEDベンチマークにおける性能を評価すること。
• PubMedデータにおける追加の事前学習が性能向上に寄与するかどうかを調査すること。
• ELMoのような他の埋め込みモデルとBioFLAIRを組み合わせた際の影響を評価すること。
• コンテキスト埋め込みを用いて、バイオメディカルNEDタスクのための強力で効率的なベースラインを確立すること。

提案手法

• PubMed由来のテキストでFLAIRモデルを微調整し、ドメイン特化型のコンテキスト埋め込みモデルであるBioFLAIRを構築する。
• FLAIRモデルの最終層からの統合されたコンテキスト埋め込みを、下流の系列ラベリングタスクに使用する。
• BioFLAIRを、NCBI-Disease、BC5CDR、JNLPBAを含む複数のバイオメディカルNEDベンチマークで評価する。
• PubMedデータにおける追加の事前学習を実施し、性能向上の有無を評価する。
• 特徴量スタックを用いて、BioFLAIR埋め込みとELMo埋め込みを組み合わせ、表現学習を強化する。
• 統合されたBioFLAIR埋め込みを入力特徴量として用い、CRFベースの系列ラベリングモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 BioFLAIRは、BERTベースのモデルと比較して、バイオメディカルNEDタスクで競争力のある性能を達成できるか？
• RQ2 PubMedデータにおける追加の事前学習が、BioFLAIRの性能向上に寄与するか？
• RQ3 ELMoのような他の埋め込みモデルとBioFLAIRを組み合わせた際の影響は何か？
• RQ4 BioFLAIRは、最先端のBERTベースのモデルと比較して、効率性と正確性の両面で優れているか？
• RQ5 FLAIRからの統合されたコンテキスト埋め込みが、バイオメディカルNED分野で新たな最先端の水準を確立できるか？

主な発見

• BioFLAIRはNCBI-Diseaseベンチマークで最先端の性能を達成しており、以前のモデルを上回っている。
• BioFLAIRは、計算コストを抑えながらも、複数のバイオメディカルNEDベンチマークでBERTベースのモデルと同等の性能を発揮している。
• PubMedデータにおける追加の事前学習は、明確な性能向上をもたらさなかったが、より長い事前学習期間であれば結果が変わることがある。
• BioFLAIR埋め込みをELMo埋め込みとスタックすることで、一貫してベンチマーク結果が向上し、補完的な表現学習の可能性が示された。
• モデルは、最小限のアーキテクチャ的複雑性で、多様なバイオメディカルNEDデータセットに強く一般化している。
• BioFLAIRは、計算効率に優れたBERTの代替手段を提供しており、リソース制限のある環境に適している。