[論文レビュー] DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical domains

Yanis Labrak, Adrien Bazoge+5 more|arXiv (Cornell University)|Apr 3, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、NACHOSと呼ばれる大規模な公開医療コーパスを用いて事前学習された、フランス語の生物医学的・臨床的分野向けの最初のRoBERTaベースの事前学習言語モデル、DrBERTを紹介する。公開の生物医学的ウェブデータに対する継続的事前学習が、医療機関の非公開臨床データを用いて学習したモデルを上回ることを示し、複数のフランス語医療NLPタスクで最先端の性能を達成した。また、モデルとデータの両方をオープンライセンスで公開した。

ABSTRACT

In recent years, pre-trained language models (PLMs) achieve the best performance on a wide range of natural language processing (NLP) tasks. While the first models were trained on general domain data, specialized ones have emerged to more effectively treat specific domains. In this paper, we propose an original study of PLMs in the medical domain on French language. We compare, for the first time, the performance of PLMs trained on both public data from the web and private data from healthcare establishments. We also evaluate different learning strategies on a set of biomedical tasks. In particular, we show that we can take advantage of already existing biomedical PLMs in a foreign language by further pre-train it on our targeted data. Finally, we release the first specialized PLMs for the biomedical field in French, called DrBERT, as well as the largest corpus of medical data under free license on which these models are trained.

研究の動機と目的

• フランス語の生物医学的・臨床的分野向けの最初の特化型事前学習言語モデルの開発。
• 医療NLPタスクにおける異なる事前学習戦略（スクラッチからの学習、継続的事前学習、ハイブリッド手法）の評価と比較。
• 最大のオープンアクセス・フランス語医療テキストコーパス（NACHOS）および許容的ライセンス下でのオープンソースDrBERTモデルの公開。
• 英語の生物医学的モデル（例：PubMedBERT）をフランス語データに微調整することで、多言語的知識移転の有効性を評価。
• 公的および私的医療NLPタスクの両方における性能ベンチマークの実施、タスク例として名前付きエンティティ認識、品詞タグ付け、マルチラベル分類を含む。

提案手法

• 複数のオンラインソースから収集した大規模かつ公開可能なフランス語生物医学コーパス（NACHOS）を用いて、RoBERTaベースのモデルを事前学習。
• 複数の事前学習戦略の評価：NACHOSでスクラッチから学習、既存モデル（例：CamemBERT）に対する継続的事前学習、フランス語医療データで微調整したPubMedBERTの適用。
• 多様な医療NLPタスク12種を含む包括的なベンチマークの構築、タスク例としてマルチラベル分類、NER、POSタグ付け、自然言語推論を含む。
• 比較分析のため、病院レポート（ChuBERT）および公的生物医学的ウェブソース（NACHOS）からのドメイン固有データを用いた。
• モデル収束性と性能の向上のため、動的マスキングおよび最適化された学習ハイパーパramータ（バッチサイズ、学習率、シーケンス長）を適用。
• すべてのモデルと学習スクリプトをMITライセンスで、NACHOSコーパスをCC0 1.0で公開し、完全な再現可能性とアクセス可能性を確保。

Figure 1: Vocabularies Inter-coverage Matrix.

実験結果

リサーチクエスチョン

• RQ1 フランス語の公開可能な生物医学的ウェブデータに対する事前学習は、医療機関の非公開臨床データを用いて学習したモデルと同等またはそれ以上の性能を達成できるか？
• RQ2 既存の英語生物医学的モデル（例：PubMedBERT）をフランス語医療データに継続的に事前学習することで、一般ドメインのフランス語モデル（例：CamemBERT）を微調整するのと比較して、より優れた結果が得られるか？
• RQ3 DrBERTモデルは、一般ドメインおよび英語生物医学的モデルと比較して、多様なフランス語医療NLPタスクでどのように性能を発揮するか？
• RQ4 ドメイン固有の事前学習は、フランス語の生物医学的ドメインにおける構文的および意味的タスクの性能向上にどの程度寄与するか？
• RQ5 英語生物医学的モデルからの多言語的知識移転は、フランス語の下流タスクにおける性能向上に顕著に寄与するか？

主な発見

• NACHOSコーパスで事前学習されたDrBERTモデルは、評価されたすべてのフランス語医療NLPタスクで、CamemBERTおよび英語生物医学的モデル（BioBERT、PubMedBERT、ClinicalBERT）を上回った。
• 病院レポートからの非公開臨床データを用いて学習したモデルに比べて、公的生物医学的ウェブデータ（NACHOS）を用いて学習したモデルが同等または優れた性能を示し、後者の方が特化度が低いにもかかわらず、これは驚くべき結果である。
• PubMedBERTをフランス語NACHOSデータに継続的に事前学習したモデル（PubMedBERT NACHOS small）は最先端の結果を達成し、効果的な多言語的知識移転を示した。
• 一般ドメインタスク（例：XNLI）におけるパフォーマンス低下は、ChuBERTのような特化型モデルで顕著であり、一般化能力の制限を示唆している。
• 7つのDrBERTモデルのトレーニングに要した環境的コストは非常に大きく、合計で25,500 GPU時間、CO2排出量換算で376.45 kg CO2eqに相当し、高い計算リソースを要することを示している。

1.a aHF classification