[論文レビュー] RaDialog: A Large Vision-Language Model for Radiology Report Generation and Conversational Assistance

Chantal Pellegrini, Ege Özsoy+3 more|arXiv (Cornell University)|Nov 30, 2023

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

RaDialogは公開されている大規模なビジョン-ランゲージモデルで、画像特徴と構造化された所見をLLMと統合して放射線報告を生成し対話的な対話をサポートし、MIMIC-CXRで臨床的正確性の最先端を達成します。

ABSTRACT

Conversational AI tools that can generate and discuss clinically correct radiology reports for a given medical image have the potential to transform radiology. Such a human-in-the-loop radiology assistant could facilitate a collaborative diagnostic process, thus saving time and improving the quality of reports. Towards this goal, we introduce RaDialog, the first thoroughly evaluated and publicly available large vision-language model for radiology report generation and interactive dialog. RaDialog effectively integrates visual image features and structured pathology findings with a large language model (LLM) while simultaneously adapting it to a specialized domain using parameter-efficient fine-tuning. To keep the conversational abilities of the underlying LLM, we propose a comprehensive, semi-automatically labeled, image-grounded instruct dataset for chest X-ray radiology tasks. By training with this dataset, our method achieves state-of-the-art clinical correctness in report generation and shows impressive abilities in interactive tasks such as correcting reports and answering questions, serving as a foundational step toward clinical dialog systems. Our code is available on github: https://github.com/ChantalMP/RaDialog.

研究の動機と目的

• 自動化された放射線報告生成を臨床正確性の向上とともに進化させる。
• 放射線科医を支援する対話型の修正機能を可能にする。
• 画像特徴と構造化された所見をパラメータ効率の高いLLMワークフローへ統合する。
• 公開モデルと指示データセットを提供し、用途に応じた下流タスクに対応する。

提案手法

• 胸部X線の視覚エンコーダとしてBioViL-Tを用いてパッチ単位の画像埋め込みを抽出する。
• BERTベースの整列モジュールを介して視覚特徴をテキスト空間と整列させ、32の画像トークンを生成する。
• CheXpert分類器を組み込んで画像の構造化された所見を生成する。
• 画像トークン、予測された所見、LLM用の指示を組み合わせた単一のプロンプトを構築する。
• Radiologyデータと指示データセットでLoRAを用いたマルチステージの訓練 regimeでVicuna-7b LLMを微調整する。
• 報告生成、訂正、QA、要約、やさしい言葉、説明などの8つのタスクカテゴリーを含む指示データセットを作成し、一般的なLLMスキルを維持しつつ放射線学に特化する。

実験結果

リサーチクエスチョン

• RQ1 RaDialogは胸部X線から臨床的に正確な放射線報告を生成できるか。
• RQ2 対話的な対話機能は報告の品質を改善し、効果的な訂正や知識の質問を可能にするか。
• RQ3 視覚情報と構造化された所見を組み込むことは、テキストのみのアプローチと比較して臨床的正確性にどう影響するか。
• RQ4 報告生成を超えた下流タスク（訂正や質問応答など）でモデルは有効か。

主な発見

手法	CE	BS	B-1	B-4	MTR	R-L
R2Gen [7]	27.6	0.27*	35.3	10.3	14.2	27.7
MDT+WCL [53]	29.4	0.28*	37.3	10.7	14.4	27.4
M 2 Tr. [34]	30.8	0.39*	37.8	10.7	14.5	27.2
ITA [50]	30.8	-	39.5	12.1	14.7	28.4
METransformer [51]	31.1	-	38.6	12.4	15.2	29.1
Kiut [16]	32.1	-	39.3	11.3	16.0	28.5
RaDialog-INS	38.6	0.39	34.0	9.7	13.6	27.0
RaDialog-RG	39.4	0.40	34.6	9.5	14.0	27.1

• RaDialogはMIMIC-CXRで最先端の臨床有効性を達成し、CEで従来手法を7.3%上回った。
• RaDialog-RGおよびRaDialog-INSは、標準ベンチマークで大規模な民間モデルと比較して競合するか優位なNLG指標を達成。
• 指示付き学習済みRaDialog-INSは、報告生成のみのベースラインに比べ訂正と下流の対話タスクを著しく改善。
• RaDialogはCEでMedPaLM-12bを上回り、NLG指標も強力で、公開データと小型モデルを使用しているにも関わらず。
• アブレーション研究は視覚と構造化入力の双方が不可欠であり、放射線学タスクにはドメイン特化のファインチューニングが重要であることを示した。
• 公開されたRaDialogモデルは対話、訂正文、領域QA、知識質問をサポートし、人間-AIの協働を実現する。