[論文レビュー] RuBioRoBERTa: a pre-trained biomedical language model for Russian language biomedical text mining

Alexander Yalunin, Alexander I. Nesterov+1 more|arXiv (Cornell University)|Apr 8, 2022

Biomedical Text Mining and Ontologies被引用数 4

ひとこと要約

本稿では、CyberLeninkaから12億語のロシア語医療テキストを用いて事前学習された、RuBioRoBERTaと呼ばれるバイオメディカル言語モデルを紹介する。このモデルは、テキスト分類、質問応答、NLI、NER、症状予測の各タスクにおいて、RuMedBenchベンチマークで最先端の性能を達成した。微調整により、一般ドメインモデルおよび先行SOTAを上回り、薬物レビュー分類タスクでは人間の性能を上回る71.54%の総合スコアを達成した。

ABSTRACT

This paper presents several BERT-based models for Russian language biomedical text mining (RuBioBERT, RuBioRoBERTa). The models are pre-trained on a corpus of freely available texts in the Russian biomedical domain. With this pre-training, our models demonstrate state-of-the-art results on RuMedBench - Russian medical language understanding benchmark that covers a diverse set of tasks, including text classification, question answering, natural language inference, and named entity recognition.

研究の動機と目的

• 非英語言語におけるドメイン適合型NLPリソースの不足に応じ、ロシア語バイオメディカルテキストマイニング向けに特化した事前学習済み言語モデルを開発すること。
• ロシア語医療文献の大規模コーパスで事前学習したモデルを微調整することで、テキスト分類、NER、自然言語推論などの多様な医療NLPタスクの性能を向上させること。
• RuBioRoBERTaおよびRuBioBERTをリリースすることで、ロシア語医療NLPの新しいベンチマークを確立し、今後の研究の強力なベースラインを提供すること。
• ドメイン特化型事前学習の有効性を検証するため、RuMedBenchベンチマーク上でバイオメディカル微調整モデルと一般ドメインモデルを比較すること。

提案手法

• 一般ドメインのロシア語コーパスで事前学習した3つのBERTベースのモデル（RuBERT、ruBERT、ruRoBERTa）を、さらに、キュレートされたバイオメディカルコーパスで事前学習した。
• CyberLeninkaから、基礎医学、臨床医学、バイオテクノロジー、保健科学をカバーする33万8千件のロシア語医療論文（12億語）からなるバイオメディカルコーパスを構築した。
• 3台のV100 GPUを3倍使用し、1エポック分の追加事前学習を実施。学習率のウォームアップを5e-5に設定し、コサイン減衰を適用。合計12日間を要した。
• 標準的なハイパーパrameterを用いて、RuMedBenchベンチマークの5つの下流タスク（テキスト分類、症状推薦、Yes/No質問応答、自然言語推論、名前付きエンティティ認識）に、得られたRuBioRoBERTaモデルを微調整した。設定：10エポック、バッチサイズ32、ピーク学習率3e-5、コサインアニーリング。
• HuggingFaceを用いてモデルの学習および推論を実施。語彙サイズはBERTで12万、RoBERTaで5万。モデルパラメータ数は1億7800万から3億5500万の範囲であった。
• 標準的な指標を用いて、テキスト分類、症状推薦、Yes/No質問応答、自然言語推論、名前付きエンティティ認識の各タスクで性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 大規模なロシア語バイオメディカルコーパスでの追加事前学習が、下流の医療NLPタスクの性能を顕著に向上させるか？
• RQ2 RuBioRoBERTaのようなドメイン適合型モデルは、一般ドメインモデル（例：ruRoBERTa）および先行SOTAと比較して、RuMedBenchベンチマークでどのように性能を発揮するか？
• RQ3 ロシア語バイオメディカル言語モデルは、特定の医療テキスト理解タスクにおいて、人間の専門家を上回る可能性をどの程度持つか？
• RQ4 バイオメディカル事前学習により、医療用略語、疾患、症状の認識においてどのような定性的な改善が得られるか？

主な発見

• RuBioRoBERTaは、RuMedBenchベンチマークで71.54%の最高総合スコアを達成し、前回SOTAを4.34ポイント上回った。
• Top3タスク（ICD-10コード予測）では、46.72%の正確度と72.87%のhit@3を達成し、前回最良成績（47.45%/70.44%）を上回った。
• SymRecタスク（症状推薦）では、44.01%の正確度と58.95%のhit@3を達成し、ruRoBERTaの40.92%/54.37%を顕著に上回った。
• NLIタスクでは82.77%の正確度、NERタスクでは97.19%のF1スコアを達成し、両方とも前回SOTAを上回った。特にNERのF1スコアは、人間の性能（76.18%）を上回った。
• NLIタスクにおいて、ACA（急性脳血管障害）などの医療用略語を正しく同定した。臨床用語の理解が向上していることが示された。
• 定性的分析により、RuBioRoBERTaは疾患名（例：肺炎）をより正確に認識し、入力テキストに明示的に記載のない関連症状の推薦もより適切に実行していることが確認された。