[論文レビュー] CamemBERT-bio: Leveraging Continual Pre-training for Cost-Effective Models on French Biomedical Data

Rian Touchent, Laurent Romary+1 more|arXiv (Cornell University)|Jun 27, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文は、4億1300万語にのぼるフランス語の生物医学的コーパスを継続的事前学習することで微調整された、公開可能なフランス語生物医学的言語モデルであるCamemBERT-bioを紹介する。このモデルは命名エンティティ認識タスクで平均F1スコアが2.54ポイント向上し、最近の主張とは対照的に、フランス語臨床NLPにおけるドメイン特化型事前学習の有効性を示している。

ABSTRACT

Clinical data in hospitals are increasingly accessible for research through clinical data warehouses. However these documents are unstructured and it is therefore necessary to extract information from medical reports to conduct clinical studies. Transfer learning with BERT-like models such as CamemBERT has allowed major advances for French, especially for named entity recognition. However, these models are trained for plain language and are less efficient on biomedical data. Addressing this gap, we introduce CamemBERT-bio, a dedicated French biomedical model derived from a new public French biomedical dataset. Through continual pre-training of the original CamemBERT, CamemBERT-bio achieves an improvement of 2.54 points of F1-score on average across various biomedical named entity recognition tasks, reinforcing the potential of continual pre-training as an equally proficient yet less computationally intensive alternative to training from scratch. Additionally, we highlight the importance of using a standard evaluation protocol that provides a clear view of the current state-of-the-art for French biomedical models.

研究の動機と目的

• 一般向けフランス語言語モデル（CamemBERTなど）が生物医学的テキストに対して性能が低いのはドメインの不一致に起因するため、その問題を解決すること。
• 保健機関の間で利用可能な、プライバシーに配慮したフランス語生物医学的言語モデルを公開すること。
• ドメイン特化型フランス語生物医学的テキストに対する継続的事前学習が、命名エンティティ認識タスクのパフォーマンスを顕著に向上させることを実証すること。
• 公平で再現可能であるベンチマーク評価を保証するための標準化された評価プロトコルの推進を提唱すること。

提案手法

• 新しく収集されたフランス語生物医学的コーパス（biomed-fr）に、4億1300万語のフランス語臨床レポート、医薬品情報シート、および生物医学的出版物を含め、CamemBERT baseモデルの継続的事前学習を実施した。
• 事前学習コーパスは、ドメインの関連性を保証するために、フランス語臨床報告書、医薬品情報シート、および生物医学的論文から構成された。
• 標準的なNLP評価指標を用いて、複数のフランス語生物医学的命名エンティティ認識ベンチマークでモデルを微調整した。
• 前処理バイアスを回避するため、正確なマッチング文字オフセットを用いた標準化されたプロトコルに従って評価が実施され、CLEF eHealthのBRATevalフレームワークと整合した。
• トレーニングは2台のTesla V100 GPUを用いて約39時間で実施され、CO2排出量の推定値は0.84 kg CO2 eqであった。
• 性能と手法の一貫性を評価するために、最近のモデル（DrBERTやBioBERTなど）と比較分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化型生物医学的テキストに対するフランス語言語モデルの継続的事前学習が、フランス語生物医学的NLPタスクのパフォーマンスを顕著に向上させることができるか？
• RQ2 最近の主張では、フランス語生物医学的データに対する継続的事前学習が無効であるとされているが、その主張を再評価する必要があるのはなぜか？
• RQ3 標準化された評価プロトコルを用いることで、フランス語生物医学的NLPにおけるモデルパフォーマンスの解釈にどの程度の影響を与えるか？
• RQ4 F1スコアおよびクラスごとのパフォーマンスの観点から、CamemBERT-bioはDrBERT や BioBERT などの他の最先端モデルと比べてどの程度の差があるか？
• RQ5 「O」クラス（エンティティでないトークン）がモデルランク付けに果たす役割は何か？ また、パフォーマンス解釈にどのように影響を与えるか？

主な発見

• CamemBERT-bioは、ベースのCamemBERTモデルと比較して、複数のフランス語生物医学的命名エンティティ認識ベンチマークで平均F1スコアが2.54ポイント向上した。
• 本研究で評価されたフランス語生物医学的NLPタスクにおいて、新記録を樹立し、テスト環境下で一般向けおよび特化型モデルを上回るパフォーマンスを示した。
• 最近の主張とは対照的に、継続的事前学習によるパフォーマンス劣化は、モデルの本質的限界ではなく、評価手法の欠陥に起因する可能性があると、本研究は示している。
• 「エンティティ（Oを除く）」プロトコルで評価した場合、DrBERTはCamemBERT-bioをマクロF1スコアで上回った。これは、評価設計がモデルランク付けに与える影響が極めて大きいことを示している。
• 本研究は、BRATevalの正確なマッチング（文字オフセットを伴う）のような標準化された評価プロトコルの重要性を強調しており、公平で再現可能なベンチマーク評価を保証するものである。
• 事前学習による環境的影響は限定的であり、CO2排出量はわずか0.84 kg CO2 eqにとどまり、コスト効率が良く、持続可能なモデルの適合が可能であることを示している。