[論文レビュー] Do We Still Need Clinical Language Models?

Eric Lehman, Evan Hernandez+8 more|arXiv (Cornell University)|Feb 16, 2023

Topic Modeling被引用数 50

ひとこと要約

この論文は3つの臨床タスクで12の言語モデルを比較し，��小規模でドメイン内で訓練された臨床モデルが大規模な一般モデルによるコンテキスト学習を上回ることを発見し，臨床テキストのドメイン特化事前学習の価値を強調しています。

ABSTRACT

Although recent advances in scaling large language models (LLMs) have resulted in improvements on many NLP tasks, it remains unclear whether these models trained primarily with general web text are the right tool in highly specialized, safety critical domains such as clinical text. Recent results have suggested that LLMs encode a surprising amount of medical knowledge. This raises an important question regarding the utility of smaller domain-specific language models. With the success of general-domain LLMs, is there still a need for specialized clinical models? To investigate this question, we conduct an extensive empirical analysis of 12 language models, ranging from 220M to 175B parameters, measuring their performance on 3 different clinical tasks that test their ability to parse and reason over electronic health records. As part of our experiments, we train T5-Base and T5-Large models from scratch on clinical notes from MIMIC III and IV to directly investigate the efficiency of clinical tokens. We show that relatively small specialized clinical models substantially outperform all in-context learning approaches, even when finetuned on limited annotated data. Further, we find that pretraining on clinical tokens allows for smaller, more parameter-efficient models that either match or outperform much larger language models trained on general text. We release the code and the models used under the PhysioNet Credentialed Health Data license and data use agreement.

研究の動機と目的

• ドメイン非特化のLLMの進展を考えると、専門的な臨床言語モデルは依然として必要かを評価する。
• EHRノートを用いた臨床的に関連するタスクで、モデル範囲(220M–175Bパラメータ)を評価する。
• 臨床データと一般ドメインデータでの事前学習が、モデルの性能と効率性に与える効果を調査する。
• スクラッチからの臨床事前学習がコスト効果的となる時期と、ドメイントークンが性能に与える影響を分析する。

提案手法

• MIMICノートに由来する3つの臨床タスクで、12の言語モデルを訓練・評価する。
• MIMIC III/IVで事前学習した、from scratchおよびチェックポイント初期化を用いた3つのClinical-T5モデルを開発する。
• ファインチューニングとインコンテキスト学習を用いて、専門的臨床モデルを一般ドメインモデルおよび大規模LLMと比較する。
• タスク固有の指標を用いる: MedNLIの精度，RadQAのトークンレベルF1と正解率(Exact Match)、CLIPのマイクロ/マクロF1。
• 異なるモデルサイズに対して、スクラッチからの事前学習とファインチューニング/推論のコストをFLOPsベースで比較する分析を提供する。

Figure 1 : We consider three options for how a healthcare system with access to clinical notes might approach a clinical problem. First, the healthcare system could use a specialized language model pretrained on clinical notes. This model could be pretrained from scratch (Row 1) or from a publicly a

実験結果

リサーチクエスチョン

• RQ1 小さな専門的臨床モデルは、臨床ノートタスクで大規模一般ドメインLLMのインコンテキスト学習を上回るか？
• RQ2 臨床データでの事前学習は、FLOPsの観点でより効率的なモデルを生み出し、大規模な一般ドメインモデルに匹敵する、またはそれを上回るか？
• RQ3 パフォーマンスとコストの観点から、スクラッチからの臨床事前学習とドメイン適応事前学習のトレードオフはどうなるか？
• RQ4 タスク間で、インドメイントークンの使用と一般ドメインの事前学習の組み合わせで、性能はどう拡大/スケールするか？
• RQ5 安全 critical な臨床NLPにおいて、インコンテキスト学習はファインチューニング済みの臨床モデルの実用的な代替となるか？

主な発見

• 345Mパラメータほど小さな専門的臨床モデルが、タスク全体でインコンテキスト学習アプローチを大幅に上回る。
• Clinical-T5-LargeとClinical-T5-Baseは、一般ドメインの相手モデルより性能向上を示し、from-scratch事前学習が最大の改善をもたらす。
• BioClinRoBERTaやGatorTronなどの臨床モデルは、最も高いタスク性能を達成し、多くの場合、T5-XLやGPT-3のような大規模一般モデルよりはるかに少ないパラメータで済む。
• 臨床データでの事前学習は、小型モデルが大規模な一般ドメインモデルに匹敵するか超えることを可能にし、単なるサイズよりデータドメインを重視する。
• Few-shot設定では、専門的臨床モデルが一般にICLベースの大規模LLMsを上回るが、タスクとデータの可用性によって結果は異なる。
• 研究は損益分岐点コスト分析を提供し、多くのシナリオで、スクラッチから小型の臨床モデルを訓練する方が、大規模一般ドメインモデルを推論に継続的に使用するよりもコスト効果が高いことを示している。

Figure 2 : An example of the tasks we consider in this paper. In MedNLI, the goal is determine if the two sentences entail, contradict or are neutral to each other. RadQA is an extractive question answering task over radiology reports. In CLIP, the goal is to identify the different types of patient