[論文レビュー] BioBART: Pretraining and Evaluation of A Biomedical Generative Language Model

Hongyi Yuan, Zheng Yuan+4 more|arXiv (Cornell University)|Apr 8, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文では、ノイズ除去自己符号化目的を用いてPubMedの要約で事前学習された、バイオメディカルな生成言語モデルであるBioBARTを紹介する。BioBARTは、対話、要約、エンティティリンク、固有表現認識などの複数のバイオメディカル自然言語生成タスクでBARTおよび最先端手法を上回る性能を示すが、アブレーションスタディにより、事前学習段階での文の並べ替えが性能を損なうことが明らかになった。

ABSTRACT

Pretrained language models have served as important backbones for natural language processing. Recently, in-domain pretraining has been shown to benefit various domain-specific downstream tasks. In the biomedical domain, natural language generation (NLG) tasks are of critical importance, while understudied. Approaching natural language understanding (NLU) tasks as NLG achieves satisfying performance in the general domain through constrained language generation or language prompting. We emphasize the lack of in-domain generative language models and the unsystematic generative downstream benchmarks in the biomedical domain, hindering the development of the research community. In this work, we introduce the generative language model BioBART that adapts BART to the biomedical domain. We collate various biomedical language generation tasks including dialogue, summarization, entity linking, and named entity recognition. BioBART pretrained on PubMed abstracts has enhanced performance compared to BART and set strong baselines on several tasks. Furthermore, we conduct ablation studies on the pretraining tasks for BioBART and find that sentence permutation has negative effects on downstream tasks.

研究の動機と目的

• バイオメディカルNLPにおけるドメイン内生成言語モデルの不足を解消するため、BARTをバイオメディカルドメインに適応すること。
• 標準化された評価を可能にするために、既存のバイオメディカル自然言語生成タスクを包括的に収集・公開すること。
• 特に文の並べ替えを含む異なる事前学習目的が、下流のバイオメディカルNLGタスクに与える影響を調査すること。
• 多様なバイオメディカルデータセットを用いた体系的な事前学習と評価を通じて、バイオメディカルNLGの強力なベースラインを確立すること。
• 特にエンティティリンクや固有表現認識などのタスクにおいて、生成モデルによるバイオメディカル言語理解の向上を図ること。

提案手法

• PubMed要約を用いて、BARTアーキテクチャを用いてノイズ除去自己符号化目的でBioBARTを事前学習する。
• 文のインフィルティングタスクのみを用い、文の並べ替えを含めないことで、下流のNLGタスクにおける性能を維持する。
• 対話（CovidDialog）、要約（MeQSum、iCliniq）、エンティティリンク（AAP、BC5CDR）、NER（ShARe13、GENIA）を含む、複数のバイオメディカルNLGベンチマークでBioBARTを微調整する。
• 文の並べ替えの事前学習タスクを含む・含まないモデルを比較することで、その影響を評価するアブレーションスタディを実施する。
• Rouge、BLEU、F1、Recall@1といった標準的な指標を用いて、多様なバイオメディカルNLPタスクにおける性能を評価する。
• 再現性と今後の研究を支援するため、コード、チェックポイント、およびバイオメディカルNLGデータセットのキュレート済みベンチマークを公開する。

実験結果

リサーチクエスチョン

• RQ1 BARTのような生成言語モデルをバイオメディカルテキストで事前学習することで、下流のバイオメディカルNLGタスクにおける性能が向上するか？
• RQ2 事前学習段階で文の並べ替えを含めると、生成モデルのバイオメディカルNLGベンチマークにおける性能にどのような影響を与えるか？
• RQ3 ドメイン適応された生成モデル（例：BioBART）は、バイオメディカル対話、要約、エンティティリンクタスクの強力なベースラインとして機能できるか？
• RQ4 PubMed要約でのドメイン内事前学習は、一般ドメインモデル（例：BART）と比較して、ドメインシフトをどの程度軽減できるか？
• RQ5 生成モデルはバイオメディカルNERやエンティティリンクタスクを効果的に処理できるか？また、判別型の最先端手法と比較してどうなるか？

主な発見

• CovidDialog対話生成ベンチマークにおいて、BioBART-largeはBART-largeをRouge-2で1.71ポイント、Rouge-Lで0.03ポイント上回った。
• MeQSum要約データセットにおいて、BioBART-largeはBART-largeをRouge-1/2/Lでそれぞれ1.93/1.31/2.1ポイント上回り、現在の最先端を更新した。
• エンティティリンクでは、AAP、BC5CDR、COMETAでそれぞれ0.4、1.67、1.36ポイントのRecall@1向上を達成し、判別型SOTA手法を上回った。
• NERでは、ShARe13でエンティティレベルF1が1.06ポイント、GENIAで1.00ポイント向上し、最良の判別型モデルとの差を埋めるにあたり、強い生成性能を示した。
• アブレーションスタディにより、文の並べ替えの事前学習タスクを除外した場合、複数のNLGタスクでより良い性能が得られ、その導入が結果を劣化させることを明らかにした。
• 定性的な例から、BioBARTが事実誤認を是正するなど、バイオメディカルの常識的知識と文書理解が向上していることが確認された。