[論文レビュー] Enhancing disease detection in radiology reports through fine-tuning lightweight LLM on weak labels

Yishu Wei, Xindi Wang+5 more|PubMed|Sep 25, 2024

Computational and Text Analysis Methods参考文献 6被引用数 4

ひとこと要約

この論文では、弱いラベルが付与されたレセプトリー報告書に対して軽量なLLM（Llama 3.1-8B）をファインチューニングすることで、疾患検出の性能を向上させることを提案している。GPT-4o やルールベースのシステムから得た合成ラベルを用いて、複数選択式分類タスクとオープンエンド検出タスクを同時に学習することで、モデルはオープンエンド検出タスクで微小F1スコア0.91を達成し、ノイズの多い教師モデルを上回る性能を示しており、リソースが限られた、プライバシーを重視する医療LLM特化の強力な可能性を示している。

ABSTRACT

Despite significant progress in applying large language models (LLMs) to the medical domain, several limitations still prevent them from practical applications. Among these are the constraints on model size and the lack of cohort-specific labeled datasets. In this work, we investigated the potential of improving a lightweight LLM, such as Llama 3.1-8B, through fine-tuning with datasets using synthetic labels. Two tasks are jointly trained by combining their respective instruction datasets. When the quality of the task-specific synthetic labels is relatively high (e.g., generated by GPT4-o), Llama 3.1-8B achieves satisfactory performance on the open-ended disease detection task, with a micro F1 score of 0.91. Conversely, when the quality of the task-relevant synthetic labels is relatively low (e.g., from the MIMIC-CXR dataset), fine-tuned Llama 3.1-8B is able to surpass its noisy teacher labels (micro F1 score of 0.67 v.s. 0.63) when calibrated against curated labels, indicating the strong inherent underlying capability of the model. These findings demonstrate the potential offine-tuning LLMs with synthetic labels, offering a promising direction for future research on LLM specialization in the medical domain.

研究の動機と目的

• レセプトリー分野における限られた、低品質なラベル付きデータの課題に対処するため、合成ラベルを活用してモデルをファインチューニングすること。
• 病院における大規模LLMの制約を克服するため、Llama 3.1-8B などの軽量モデルを活用すること。
• 弱教師付きファインチューニングが、人間によるアノテーションやルールベースのラベルと同等またはそれ以上の性能を達成できるかどうかを評価すること。
• 1つのLLMを複数のレセプトリー課題に対して、同時に学習させるか別々に学習させるかの比較を検討すること。
• GPT-4o が生成する合成ラベルを用いて、軽量モデルをエキスパート水準に近い性能へと特化させることの実現可能性を示すこと。

提案手法

• 複数選択式疾患分類とオープンエンド疾患検出の2つの異なるレセプトリー課題に対して、Llama 3.1-8B をインstructチューニングでファインチューニングした。
• 複数選択式タスクの合成ラベルは、ルールベースのシステムであるNegbioを用いて生成した。オープンエンドタスクの合成ラベルは、GPT-4oを用いて生成した。
• MIMIC-CXR および WCM からの異なるソースのインstructデータセットを統合し、1つの混合トレーニングセットを作成して、ジョイントマルチタスク学習を実施した。
• 否定処理、確信度フィルタリング、証拠抽出を含む、注意深く設計されたプロンプトを用いてインstructチューニングを実施した。
• ファインチューニング後のモデル性能を、人間がアノテートしたテストセットを用いて微小F1スコアで評価し、ルールベースのラベルとGPT-4oの出力とを比較した。
• 性能のトレードオフを評価するために、ジョイントファインチューニングと別個ファインチューニングの両方の戦略を検討した。

実験結果

リサーチクエスチョン

• RQ1 GPT-4o やルールベースのシステムから生成された合成ラベルを用いてファインチューニングされた、Llama 3.1-8B は、レセプトリー疾患検出において高い性能を達成できるか？
• RQ2 複数のタスクを同時に学習させることで、別々に学習させる場合と比較して、モデルの一般化性能が向上するか？
• RQ3 教師モデルがノイズの多いまたは不完全なラベルを使用している場合に、学生モデルが教師モデルを上回る性能を示せるか？
• RQ4 合成ラベルの品質（例：GPT-4o とルールベースシステムからのもの）が、下流のモデル性能にどのように影響するか？
• RQ5 合成ラベルは、リソースが限られた、プライバシーに配慮した医療分野におけるLLMの特化をどの程度効果的に可能にするか？

主な発見

• GPT-4o が生成した合成ラベルを用いてファインチューニングした Llama 3.1-8B は、オープンエンド疾患検出タスクで微小F1スコア0.91を達成した。
• ルールベースの教師モデル（NegBio）に対して、複数選択式分類タスクで微小F1スコア0.66を達成し、教師モデルの0.63を上回った。
• MIMIC-CXR からの低品質な合成ラベルを用いてトレーニングした Llama 3.1-8B でさえ、ノイズの多い教師モデルの性能を上回った。これは、モデルの一般化能力が非常に高いことを示している。
• 両タスクを同時に学習させるジョイントファインチューニングは、別々に学習させる場合と同等の性能を示し、マルチタスク学習による顕著な性能低下がないことがわかった。
• モデルはラベルノイズに対して強く、不完全な合成ラベルでトレーニングされても高い性能を発揮した。これは、医療NLPタスクにおけるモデルの本質的な能力を示している。
• 結果から、GPT-4o などの高品質なLLMが生成する合成ラベルは、エキスパートレベルの知識を軽量モデルに効果的に伝達でき、臨床現場での実用的導入を可能にする可能性を示している。