[論文レビュー] MGH Radiology Llama: A Llama 3 70B Model for Radiology

Yuan Shi, Peng Shu+6 more|arXiv (Cornell University)|Aug 13, 2024

Radiology practices and education被引用数 4

ひとこと要約

この論文では、マサチューセッツ・メモリアル病院の匿名化済みレポート650万件を微調整した700億パラメータのLlama 3ベースモデル「MGH Radiology Llama」を紹介する。臨床的関連性の高い正確なレントゲン画像所見の生成において、汎用LLMおよび先行のドメイン特化モデルを上回る最先端の性能を達成しており、ROUGE-Lスコアで100%の向上、GPT-4o評価では1ポイント以上の上昇を記録した。

ABSTRACT

In recent years, the field of radiology has increasingly harnessed the power of artificial intelligence (AI) to enhance diagnostic accuracy, streamline workflows, and improve patient care. Large language models (LLMs) have emerged as particularly promising tools, offering significant potential in assisting radiologists with report generation, clinical decision support, and patient communication. This paper presents an advanced radiology-focused large language model: MGH Radiology Llama. It is developed using the Llama 3 70B model, building upon previous domain-specific models like Radiology-GPT and Radiology-Llama2. Leveraging a unique and comprehensive dataset from Massachusetts General Hospital, comprising over 6.5 million de-identified medical reports across various imaging modalities, the model demonstrates significant improvements in generating accurate and clinically relevant radiology impressions given the corresponding findings. Our evaluation, incorporating both traditional metrics and a GPT-4-based assessment, highlights the enhanced performance of this work over general-purpose LLMs.

研究の動機と目的

• 大規模かつ現実世界のデータセットを用いて、レントゲン画像レポート生成に特化した高パフォーマンスなドメイン特化型大規模言語モデルの開発を目的とする。
• 一般用途LLMがレントゲン画像分野において抱える限界、すなわち臨床的正確性の欠如、API利用に伴うプライバシー懸念、一貫性のない医学用語の使用を解消することを目的とする。
• 従来の指標に加え、GPT-4oを用いた評価を実施することで、臨床的関連性と正確性を保証する。
• 計算コストと性能のバランスを考慮し、大規模モデル向けに効率的な微調整戦略（例：QLoRA）の検討を目的とする。
• 外部APIの使用を回避し、オンプレミスでのトレーニングと匿名化データの使用により、厳格な患者プライバシー保護を実現することを目的とする。

提案手法

• マサチューセッツ・メモリアル病院の、複数の画像診断モalityおよび解剖的領域をカバーする650万件の匿名化済みレントゲン画像レポートから構成される包括的データセットを用い、Llama 3 70Bの基礎モデルを微調整した。
• 性能とトレーニング効率を比較するため、フル微調整とパラメータ効率の良いLoRA（QLoRA）の2つの微調整戦略を採用した。
• ドメイン特化のトークン化とデータクリーニングを実施し、一貫性と臨床的関連性を確保した。
• 標準指標（ROUGE-L、BERTScore）に加え、臨床医が作成した基準に従ったGPT-4oベースの評価を実施し、正確性と意味的整合性を評価した。
• 放射線科医が検証した結論と一致する所見を生成できる能力を評価するため、プロンプトベースの評価フレームワークを採用した。
• 外部APIの使用を回避し、匿名化データを用いたローカルでのトレーニングにより、モデルのプライバシーとコンプライアンスを最優先した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつドメイン特化型のLLMを、多様で現実世界のレントゲン画像データセット上で微調整することで、一般用途LLMと比較して、レントゲン画像所見生成の正確性と臨床的関連性を顕著に向上させることができるか？
• RQ2 フル微調整されたLlama 3 70BモデルとQLoRAで微調整されたバージョンの性能は、出力品質およびトレーニング効率の観点でどのように異なるか？
• RQ3 Llama 3 70Bのような大規模な基盤モデルが、計算コストを大幅に削減しつつ、フル微調整に近い性能を達成できる程度に、パラメータ効率の良い微調整（QLoRA）を活用できるか？
• RQ4 生成されたレントゲン画像所見における主な失敗モードは何か。特に、欠落した所見や虚偽の結論が関連するか？
• RQ5 画像診断モダリティ（CT、MRI、X線、 Fluoroscopy）および解剖的領域（腹部、胸部、心臓、四肢）ごとのモデル性能にどのような差が生じるか。これは、一般化能力に何を示唆するか？

主な発見

• フル微調整されたLlama 3 70Bモデルは、ベースラインの一般用途LLMと比較してROUGE-Lスコアで100%の向上を示し、正解レポートとの語彙レベルおよび構造的整合性の優位性を示した。
• BERTScoreの精度はベースライン比で4%〜5%向上し、意味的類似性と医学用語の正確性の向上を示した。
• GPT-4o評価では、微調整済みモデルの平均スコアが1.0ポイント以上上昇し、臨床的推論および用語の整合性の観点で、放射線科医が検証した結論との整合性が向上したことを示した。
• QLoRA微調整は、フル微調整とほぼ同等の性能を達成したが、トレーニング時間とリソース消費量を顕著に削減した。これは、大規模モデル向けに非常に効率的であることを示した。
• 強力な性能を発揮しているにもかかわらず、複雑な症例では幻覚現象や重要な所見の欠落が見られ、GPT-4oスコアが低くなる主な要因は、欠落や不適切な推論に起因していた。
• モデルの性能は、CT、MRI、X線、 Fluoroscopyといった多様な画像診断モダリティおよび腹部、胸部、心臓、四肢といった多様な解剖的領域で安定しており、広範な一般化能力を示した。