[论文解读] MAIRA-2: Grounded Radiology Report Generation

Shruthi Bannur, Kenza Bouzid+19 more|arXiv (Cornell University)|Jun 6, 2024

Radiomics and Machine Learning in Medical Imaging被引用 13

一句话总结

MAIRA-2 通过将放射学专用的图像编码器与大语言模型配对，产生句子级 grounding 的发现，并在 MIMIC-CXR 上达到 state-of-the-art 的发现生成，同时实现 grounding 报告。

ABSTRACT

Radiology reporting is a complex task requiring detailed medical image understanding and precise language generation, for which generative multimodal models offer a promising solution. However, to impact clinical practice, models must achieve a high level of both verifiable performance and utility. We augment the utility of automated report generation by incorporating localisation of individual findings on the image - a task we call grounded report generation - and enhance performance by incorporating realistic reporting context as inputs. We design a novel evaluation framework (RadFact) leveraging the logical inference capabilities of large language models (LLMs) to quantify report correctness and completeness at the level of individual sentences, while supporting the new task of grounded reporting. We develop MAIRA-2, a large radiology-specific multimodal model designed to generate chest X-ray reports with and without grounding. MAIRA-2 achieves state of the art on existing report generation benchmarks and establishes the novel task of grounded report generation.

研究动机与目标

• 促成自动化、高质量的放射科报告初稿，以减轻放射科医生工作量并提高清晰度。
• 将报告生成扩展到 grounding 报告，通过在图像中定位每个发现来实现。
• 开发一个评估框架（RadFact），评估生成句子及其空间注释的事实性与 grounding。
• 将放射学专用的图像编码器与大语言模型结合，以处理综合的多模态输入（当前正面与侧面视图、先前研究、Indication、Technique、Comparison）。

提出的方法

• 使用 Ret- DINO 基的放射学图像编码器（Rad-DINO）在训练中冻结以生成图像 token。
• 使用基于 Vicuna 的 LLM（7B 或 13B）并配备可训练适配器，在图像 token 与结构化提示条件下生成文本。
• 将空间注释表示为离散化的 100x100 网格坐标用于边框，并嵌入到生成提示中。
• 提供丰富输入：当前正面与侧面 CXRs、先前正面图像与报告，以及报告段落（Indication、Technique、Comparison），以提高生成保真度。
• 以单阶段训练，在多任务数据集混合上使用自回归交叉熵损失，通过 RoPE 缩放实现上下文长度扩展，支持多达 3 并行视图图像及更多输入。

实验结果

研究问题

• RQ1 MAIRA-2 是否能够生成 grounding 的放射科报告，将发现与图像的精确位置相关联？
• RQ2 是否包含侧面视图、先前研究以及详细报告段落有助于提升报告质量与 grounding 精度？
• RQ3 RadFact 作为评估框架在放射科报告的句子级事实性与空间 grounding 方面有多高的有效性？
• RQ4 模型规模（7B 与 13B）对文本质量与 grounding 性能有何影响？

主要发现

• MAIRA-2 实现了 grounding 启用的报告生成，在 MIMIC-CXR 上在发现生成方面达到新的 state-of-the-art（水準），且不含 grounding 的基线亦有提升。
• RadFact 分数显示事实性较高，逻辑精度在 7B 与 13B 模型上约为 73–75%，逻辑召回约为 72–74%。
• Grounding 精度约 68–69%，高度 grounding 召回率约 92–93%，箱体完成度精度约 68–70%，箱体完成召回约 84–86%。
• 13B 变体在文本质量方面有适度提升，而在定位/ grounding 指标上相对 7B 有更显著的改进。
• 框级 grounding（短语 grounding）在正确生成的短语上的精度约 68–70%，召回约 84–86%。
• RadFact-Llama3 提供了对比对 ground-truth 参考的强健、基于蕴涵的评估。