[論文レビュー] MAIRA-2: Grounded Radiology Report Generation

Shruthi Bannur, Kenza Bouzid+19 more|arXiv (Cornell University)|Jun 6, 2024

Radiomics and Machine Learning in Medical Imaging被引用数 13

ひとこと要約

MAIRA-2は、胸部X線の所見を文レベルで根拠づけて報告する grounded radiology report generation を、放射線専用の画像エンコーダーとLLMを組み合わせることで実現し、RadFactで評価し、MIMIC-CXRで最先端の所見生成を達成し、根拠ある報告を可能にする。

ABSTRACT

Radiology reporting is a complex task requiring detailed medical image understanding and precise language generation, for which generative multimodal models offer a promising solution. However, to impact clinical practice, models must achieve a high level of both verifiable performance and utility. We augment the utility of automated report generation by incorporating localisation of individual findings on the image - a task we call grounded report generation - and enhance performance by incorporating realistic reporting context as inputs. We design a novel evaluation framework (RadFact) leveraging the logical inference capabilities of large language models (LLMs) to quantify report correctness and completeness at the level of individual sentences, while supporting the new task of grounded reporting. We develop MAIRA-2, a large radiology-specific multimodal model designed to generate chest X-ray reports with and without grounding. MAIRA-2 achieves state of the art on existing report generation benchmarks and establishes the novel task of grounded report generation.

研究の動機と目的

• 自動化された高品質な放射線報告の下書きを動機付けて、放射線科医の作業負荷を軽減し、一貫性を改善する。
• 各所見を画像内で局所化して根拠ある報告へ報告生成を拡張する。
• 生成文の事実性と局在と spatial アノテーションを評価する評価フレームワーク（RadFact）を開発する。
• 放射線学専用の画像エンコーダと大規模言語モデルを組み合わせて、総合的なマルチモーダル入力（現在の正面・側面のビュー、過去の画像・レポート、Indication、Technique、Comparison）を扱えるようにする。

提案手法

• Ret-DINOベースの放射線画像エンコーダ（Rad-DINO）を学習中に凍結して画像トークンを生成する。
• trainable adapterを備えたVicunaベースのLLM（7Bまたは13B）を用いて、画像トークンと構造化プロンプトに条件付けてテキストを生成する。
• 空間アノテーションを境界ボックスの100x100グリッド座標として離散化し、生成プロンプトに埋め込む。
• 現在の正面・側面CXRs、過去の正面画像とレポート、Indication、Technique、Comparisonのレポートセクションを提供して生成の忠実度を向上させる。
• 自動回帰クロスエントロピー損失を用いた単一段階の multitask データセットミックスで学習し、RoPEスケーリングによる文脈長拡張で最大3つのビュー画像とより多くの入力を扱える。

実験結果

リサーチクエスチョン

• RQ1 MAIRA-2は所見を正確な画像位置と結びつけた根拠付き報告を生成できるか？
• RQ2 側面ビュー、過去の研究、詳細なレポートセクションを含めると報告の品質と grounding の精度は向上するか？
• RQ3 RadFactは放射線報告の文レベルの事実性と空間 grounding の評価フレームワークとしてどれほど有効か？
• RQ4 モデル規模（7B vs 13B）がテキスト品質と grounding 性能に与える影響は？

主な発見

指標	MAIRA-2 7B	MAIRA-2 13B
Lexical: ROUGE-L	58.2 [56.7, 59.8]	59.4 [57.8, 61.0]
RadFact: Logical Precision	73.5 [72.2, 74.9]	74.8 [73.5, 76.3]
RadFact: Logical Recall	72.4 [71.0, 73.8]	73.3 [72.0, 74.7]
RadFact: Spatial Precision	32.1 [29.4, 34.5]	35.0 [32.4, 37.8]
RadFact: Spatial Recall	33.7 [31.2, 36.2]	36.9 [34.5, 39.5]
RadFact: Grounding Precision	68.2 [64.7, 71.7]	68.8 [65.3, 71.9]
RadFact: Grounding Recall	92.2 [89.8, 94.4]	91.1 [89.1, 93.1]
RadGraph-F1	54.2 [52.5, 55.9]	55.9 [54.1, 57.6]
RG ER	56.9 [55.3, 58.5]	58.4 [56.7, 60.1]
RadCliQ (lower is better)	1.63 [1.55, 1.70]	1.56 [1.49, 1.64]
CheXpert Macro F1	40.9 [35.9, 47.1]	45.9 [40.1, 52.4]
CheXpert Micro F1	60.2 [57.5, 62.5]	61.4 [59.0, 63.8]
Box-completion (Phrase grounding) Precision	68.4 [67.2, 69.7]	70.2 [68.8, 71.7]
Box-completion (Phrase grounding) Recall	84.6 [83.7, 85.5]	86.2 [85.4, 87.1]

• MAIRA-2は grounding-enabled report generationを達成し、MIMIC-CXRでgroundingなしの所見生成で新たな最先端を樹立。
• RadFactスコアは、高い事実性を示し、7Bと13Bモデルで論理的精度約73–75%、論理的再現性約72–74%。
• groundingの精度は約68–69%、高い grounding 再現性約92–93%、box完成精度は約68–70%、box完成再現性約84–86%。
• 13Bバリアントはテキスト品質の小幅な向上と、7Bと比較して局在化/ grounding 指標でより大きな改善を示す。
• Box-level grounding（フレーズ grounding）は、正しく生成されたフレーズについて約68–70%の精度と約84–86%の再現性。
• RadFact-Llama3は、 ground-truth 参照に対する生成文のエンテイルメントベースの堅牢な評価を提供。