[論文レビュー] BioMegatron: Larger Biomedical Domain Language Model

Hoo-Chang Shin, Yang Zhang+5 more|arXiv (Cornell University)|Oct 12, 2020

Topic Modeling参考文献 19被引用数 11

ひとこと要約

この論文では、膨大なPubMedの要約と全訳PMC記事を用いて事前学習されたより大きな生物医学的言語モデル、BioMegatronを紹介している。生物医学的NLPタスクにおいて最先端の性能を示しており、モデルサイズよりもドメイン特化した語彙と的確な事前学習がより重要であることが示された。BioMegatron-1.2bは命名エンティティ認識、関係抽出、質問応答のベンチマークで最先端の結果を達成した。

ABSTRACT

There has been an influx of biomedical domain-specific language models, showing language models pre-trained on biomedical text perform better on biomedical domain benchmarks than those trained on general domain text corpora such as Wikipedia and Books. Yet, most works do not study the factors affecting each domain language application deeply. Additionally, the study of model size on domain-specific models has been mostly missing. We empirically study and evaluate several factors that can affect performance on domain language applications, such as the sub-word vocabulary set, model size, pre-training corpus, and domain transfer. We show consistent improvements on benchmarks with our larger BioMegatron model trained on a larger domain corpus, contributing to our understanding of domain language model applications. We demonstrate noticeable improvements over the previous state-of-the-art (SOTA) on standard biomedical NLP benchmarks of named entity recognition, relation extraction, and question answering. Model checkpoints and code are available at [https://ngc.nvidia.com] and [https://github.com/NVIDIA/NeMo].

研究の動機と目的

• モデルサイズ、語彙選択、事前学習コーパス、ドメイン転送が生物医学的言語モデルのパフォーマンスに与える影響を調査すること。
• 生物医学的NLPにおけるモデルスケーリングおよびドメイン特化要因の研究が限定的であるという問題を解決すること。
• 命名エンティティ認識、関係抽出、質問応答などの主要な生物医学的NLPベンチマークにおけるパフォーマンスを向上させること。
• ドメインに特化したモデルが、語彙と事前学習を適切に設計すれば、規模が小さくても一般ドメインモデルを上回ることを実証すること。
• 再現可能性と生物医学的NLP分野におけるさらなる研究を支援するため、オープンソースのモデルチェックポイントとコードを提供すること。

提案手法

• メガトロン-LMフレームワークを用いて、345M、800M、1.2Bパラメータの3つのバリアントを効率的なモデル並列学習で事前学習した。
• PubMed要約から45億語とCCライセンス付きのPMC全訳記事から16億語を組み合わせた事前学習コーパスを使用した。
• 生物医学的テキスト上でSentencePieceを用いて学習したサブワード語彙（3万単位と5万単位）の違いを比較し、小文字・大文字区別ありのBERTスタイル語彙の両方を評価した。
• 一般ドメインのチェックポイント（例：BERT-uncased）から微調整するのではなく、すべてのモデルをスクラッチから訓練し、トランスファーラーニング効果を評価した。
• 標準的な生物医学的ベンチマークで性能を評価した：NERにはBC5CDRとNCBI-disease、関係抽出にはChemProt、質問応答にはBioASQ-7bを使用した。
• NERとQAにはF1スコア、文書分類タスクには正答率といった標準指標を用いた。

実験結果

リサーチクエスチョン

• RQ1 モデルサイズが生物医学的NLPタスクのパフォーマンスに与える影響は、語彙選択や事前学習コーパスの影響と比べてどうか？
• RQ2 一般ドメイン語彙と比較して、生物医学的テキストから学習したドメイン特化サブワード語彙がパフォーマンスに与える影響は？
• RQ3 一般ドメイン言語モデルのチェックポイントから微調整することで、生物医学的ベンチマークでのパフォーマンスがスクラッチからの訓練よりも向上するか？
• RQ4 要約のみでなく全訳PMCも含めたより大きな生物医学的コーパスで事前学習することで、下流タスクのパフォーマンスはどのように向上するか？
• RQ5 ドメイン特化事前学習は、ラベルバイアスの高い低リソース生物医学的NLPタスクにおける性能格差をどの程度軽減できるか？

主な発見

• BioMegatron-1.2bはSQuAD-v1.1でF1スコア91.8、SQuAD-v2.0で86.4を達成し、一般ドメインベンチマークでBERT-LargeやRoBERTaを上回った。
• 5万語彙を用いた345MモデルはSQuAD-v1.1でF1スコア91.6を記録し、BERT-Large（F1スコア90.9）を上回った。これは語彙選択がモデルサイズを上回る影響を持つことを示している。
• BioMegatron-800mはSQuAD-v1.1でF1スコア91.6、SQuAD-v2.0で86.1を達成し、ドメイン特化テキストで事前学習されたより大きなモデルが、一般ドメインの小規模モデルよりも一般化性能に優れていることを示した。
• 微調整済みのBioMegatronモデル（例：BioMegatron-345m-ft）は、事前学習済みモデルに比べてパフォーマンスが低く（SQuAD-v1.1でF1スコア86.5）、ドメイン特化事前学習が一般ドメインモデルからのトランスファー学習よりも効果的であることを示した。
• より大きなモデルサイズであるにもかかわらず、BioMegatron-1.2bはBioASQ-7bでBioMegatron-800mを上回らなかった。これは、ラベルバイアスの高い小規模な生物医学的QAデータセットでは過学習の可能性があることを示唆している。
• 本研究では、生物医学的データセット（例：BioASQ-7bで0.02）のラベルバイアスが、一般ドメインデータセット（SQuADで0.4）よりも顕著に高いことが判明し、データ不足と不均衡の課題を浮き彫りにした。