[論文レビュー] Radiology-GPT: A Large Language Model for Radiology

Zhengliang Liu, Aoxiao Zhong+18 more|arXiv (Cornell University)|Jun 14, 2023

Topic Modeling被引用数 21

ひとこと要約

Radiology-GPT は放射線科に特化した LLM で、MIMIC-CXR データ上で指示チューニングを経て所見から印象を生成する。一般的な指示チューニングモデルより優れており、臨床展開時のプライバシー上の利点が強い。

ABSTRACT

We introduce Radiology-GPT, a large language model for radiology. Using an instruction tuning approach on an extensive dataset of radiology domain knowledge, Radiology-GPT demonstrates superior performance compared to general language models such as StableLM, Dolly and LLaMA. It exhibits significant versatility in radiological diagnosis, research, and communication. This work serves as a catalyst for future developments in clinical NLP. The successful implementation of Radiology-GPT is indicative of the potential of localizing generative large language models, specifically tailored for distinctive medical specialties, while ensuring adherence to privacy standards such as HIPAA. The prospect of developing individualized, large-scale language models that cater to specific needs of various hospitals presents a promising direction. The fusion of conversational competence and domain-specific knowledge in these models is set to foster future development in healthcare AI. A demo of Radiology-GPT is available at https://huggingface.co/spaces/allen-eric/radiology-gpt.

研究の動機と目的

• 放射線科向けにローカライズされ、プライバシーを保護しつつ、所見を解釈し印象を生成する LLM を開発する。
• 放射線データに対する指示チューニングの効果を、一般的なモデルと比較して示す。
• 伝統的な NLP ベンチマークを超える domain-relevant 品質指標で出力を評価する。
• 臨床意思決定支援、患者コミュニケーション、医療分野のマルチドメインAI協働への示唆を探る。

提案手法

• Base model として Alpaca-7B を用い、LoRA ファインチューニングを適用して効率的なローカライズ学習を実現する。
• 訓練用に訓練対になる Findings と Impression 部分を抽出するよう、MIMIC-CXR レポートを前処理する。
• 'Derive the impression from findings in the radiology report' の指示で Findings を Impressions にマッピングするよう、指示チューニングで学習する。
• Understandability、Coherence、Relevance、Conciseness、Clinical Utility に関する domain-specific 指標を用いて他の LLMs と比較評価する。
• 外部テストデータとして MIMIC-CXR テストセットと独立した OpenI データセットで検証する。
• HIPAA に準拓し病院インフラ上でモデルを保持することによるプライバシー上の利点を強調する。

Figure 1 : The overall framework of Radiology-GPT.

実験結果

リサーチクエスチョン

• RQ1 放射線データのレポートに対して指示に従うよう訓練された放射線 domain の LLM は、臨床的に有用な印象の生成において一般的な指示チューニングモデルより優れているか。
• RQ2 domain-specific 指示チューニングは、非ドメイン LLM と比較して理解性、整合性、関連性、簡潔さ、臨床有用性を改善するか。
• RQ3 臨床設定におけるローカライズ型 Radiology-GPT のプライバシーと導入に関する示唆は何か。
• RQ4 Radiology-GPT と ChatGPT を放射線印象タスクで比較すると、トレードオフ（例: 簡潔さ vs 関連性）はどこに生じるか。

主な発見

• Radiology-GPT は StableLM、Dolly、LLaMA などの一般的な指示チューニングモデルより放射線印象タスクで優れている。
• Radiology-GPT は理解性で ChatGPT に匹敵し、整合性でやや上回る。
• Radiology-GPT は ChatGPT より簡潔さと臨床有用性が高い一方、出力が短いため関連性がやや劣る場合がある。
• 放射線分野の指示チューニングを欠く一般ドメインモデルは Radiology-GPT および ChatGPT を下回る。
• ドメイン特化の指示チューニングとローカル展開（HIPAA 準拠）が、実践的な放射線AIの有用性を著しく高める。

Figure 2 : The instruction-tuning process of Radiology-GPT.