[論文レビュー] RadOnc-GPT: A Large Language Model for Radiation Oncology

Zhengliang Liu, P. Wang+13 more|arXiv (Cornell University)|Sep 18, 2023

Topic Modeling被引用数 11

ひとこと要約

RadOnc-GPT は、LLama2 を基盤とするドメイン特化型の LLM で、Mayo Clinic の Mayo Clinic Arizona 放射線治療データを用いて放射線治療レジメンを生成し、治療法を選択し、診断説明/ ICD コードを提供するよう訓練されており、ROUGE 指標の評価で一般的な LLM（Llama2）をこれらのタスクで上回る。

ABSTRACT

This paper presents RadOnc-GPT, a large language model specialized for radiation oncology through advanced tuning methods. RadOnc-GPT was finetuned on a large dataset of radiation oncology patient records from the Mayo Clinic in Arizona. The model employs instruction tuning on three key tasks - generating radiotherapy treatment regimens, determining optimal radiation modalities, and providing diagnostic descriptions/ICD codes based on patient diagnostic details. Evaluations conducted by comparing RadOnc-GPT outputs to general large language model outputs showed higher ROUGE scores in these three tasks. The study demonstrated the potential of using large language models fine-tuned using domain-specific knowledge like RadOnc-GPT to achieve transformational capabilities in highly specialized healthcare fields such as radiation oncology. However, our model's clinical relevance requires confirmation, and it specializes in only the aforementioned three specific tasks and lacks broader applicability. Furthermore, its evaluation through ROUGE scores might not reflect the true semantic and clinical accuracy - challenges we intend to address in future research.

研究の動機と目的

• 放射線腫瘍学のワークフローにおける精度と効率を向上させるため、ドメイン特化型 LLM の活用を促す。
• 患者データから放射線治療レジメンを生成する専門モデルを作成する。
• 臨床的詳細に基づいて治療法の選択と ICD 診断コードの自動提案を可能にする。
• ドメイン関連のテキスト生成タスクにおいて一般的な LLM より改善を示す。
• 医療AI開発におけるプライバシーとデータ選定の考慮事項に取り組む。

提案手法

• Mayo Clinic の記録から抽出されたドメイン特有の放射線腫瘍学データを用いて、LLama2 ベースのモデルをファインチューニングする。
• 放射線治療レジメン生成、治療法決定、診断説明/ICD コード予測という3つのタスクで指示チューニングを適用し、モデルを専門化する。
• 指定されたハイパーパラメータでLoRA（低秩適応）を使用し、効率的なタスク特化ファインチューニングを実現する。
• 病歴/状態と治療計画を分離し、識別子を匿名化してデータを整備する。
• ROUGE 指標を用いて、Llama2 などの一般的な LLM と比較して、タスク全体の内容品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化型 LLM は、患者データから臨床的に整合のとれた放射線治療レジメンを生成できるか？
• RQ2 患者の詳細に基づいて適切な放射線治療モダリティ（例：陽子線 vs. 光子線）を推奨できるか？
• RQ3 患者情報に整合した診断説明または ICD コードを正確に提供できるか？
• RQ4 ROUGE 指標に基づき、ドメイン特化型ファインチューニングモデルはこれらの放射線腫瘍学タスクで一般的な LLM を上回るか？
• RQ5 専門の放射線腫瘍学 LLM の出力の限界と臨床的妥当性は何か？

主な発見

タスク	RadOnc-GPT Rouge-1	RadOnc-GPT Rouge-2	RadOnc-GPT Rouge-L	Llama2 Rouge-1	Llama2 Rouge-2	Llama2 Rouge-L
放射線治療計画	0.4341	0.2250	0.4271	0.0739	0.0049	0.0657
治療法	0.7903	0	0.7903	0.0003	0	0.0?
診断説明 / ICDコード	0.7050	0.6203	0.7026	0.0786	0.0110	0.0609

• RadOnc-GPT は放射線治療レジメン生成で LLama2 を顕著に上回る（ROUGE-1: 0.4341 vs 0.0739; ROUGE-2: 0.2250 vs 0.0049; ROUGE-L: 0.4271 vs 0.0657）。
• RadOnc-GPT はモダリティ選択において高い性能を示す（ROUGE-1: 0.7903、ベースラインよりはるかに高い；ROUGE-L: 0.7903、より高い一貫性）。
• RadOnc-GPT は診断説明/ICDコード生成を大幅に改善（ROUGE-1: 0.7050 vs 0.0786; ROUGE-2: 0.6203 vs 0.0110; ROUGE-L: 0.7026 vs 0.0609）。
• モデルは3つの独立した指示チューニングタスクとして訓練され、効率と安定性のためにLoRAベースのファインチューニングを用いる。
• 評価は ROUGE スコアに依存するが、臨床的な意味論的正確さや実世界の有用性を完全には反映しない可能性がある。