[论文解读] Cross-Modal Causal Intervention for Medical Report Generation

Weixing Chen, Yang Liu+5 more|arXiv (Cornell University)|Mar 16, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出了一种视觉-语言因果干预（VLCI）框架，用于医学报告生成，通过因果前门干预缓解视觉-语言之间的虚假相关性。通过引入视觉去混杂模块（VDM）和语言去混杂模块（LDM），VLCI 在无需昂贵标注的情况下隐式解耦混杂因素，在 IU-Xray 和 MIMIC-CXR 数据集上实现了最先进性能，同时推理速度更快、计算成本更低。

ABSTRACT

Radiology Report Generation (RRG) is essential for computer-aided diagnosis and medication guidance, which can relieve the heavy burden of radiologists by automatically generating the corresponding radiology reports according to the given radiology image. However, generating accurate lesion descriptions remains challenging due to spurious correlations from visual-linguistic biases and inherent limitations of radiological imaging, such as low resolution and noise interference. To address these issues, we propose a two-stage framework named CrossModal Causal Representation Learning (CMCRL), consisting of the Radiological Cross-modal Alignment and Reconstruction Enhanced (RadCARE) pre-training and the Visual-Linguistic Causal Intervention (VLCI) fine-tuning. In the pre-training stage, RadCARE introduces a degradation-aware masked image restoration strategy tailored for radiological images, which reconstructs high-resolution patches from low-resolution inputs to mitigate noise and detail loss. Combined with a multiway architecture and four adaptive training strategies (e.g., text postfix generation with degraded images and text prefixes), RadCARE establishes robust cross-modal correlations even with incomplete data. In the VLCI phase, we deploy causal front-door intervention through two modules: the Visual Deconfounding Module (VDM) disentangles local-global features without fine-grained annotations, while the Linguistic Deconfounding Module (LDM) eliminates context bias without external terminology databases. Experiments on IU-Xray and MIMIC-CXR show that our CMCRL pipeline significantly outperforms state-of-the-art methods, with ablation studies confirming the necessity of both stages. Code and models are available at https://github.com/WissingChen/CMCRL.

研究动机与目标

• 解决图像-文本数据中视觉与语言偏差导致的医学报告生成中虚假相关性问题。
• 缓解难以观测的跨模态混杂因素，这些因素阻碍了病变的准确描述和可靠报告生成。
• 开发一种轻量化、高效的框架，隐式去混杂视觉-语言特征，无需依赖细粒度标注或外部知识库。
• 通过建模图像区域与语言描述之间的真正因果关系，提升生成报告的事实准确性和多样性。
• 通过计算效率更高的架构，实现更快推理，提升临床可扩展性。

提出的方法

• VLCI 框架采用视觉去混杂模块（VDM），通过因果前门干预从基于图像块的局部和全局特征中解耦视觉混杂因素，无需区域级标注。
• 语言去混杂模块（LDM）通过调整上下文空间中的词嵌入来消除语言混杂因素，消除对显著视觉特征和高频词的依赖。
• 通过掩码图像建模（MIM）将预训练语言模型（PLM）与视觉编码器结合，实现跨模态预训练，无需成对数据即可实现联合表征学习。
• VDM 通过识别并抑制与疾病标签相关的虚假视觉线索，对视觉特征实施因果干预，转而关注解剖学相关区域（如肺叶、胸膜）。
• LDM 应用语言学前门干预以优化语义表征，减少对常见短语的过度依赖，提升对异常发现的语义敏感性。
• 该框架将 VDM 和 LDM 集成到统一的编码器-解码器架构中，支持端到端训练，并利用注意力机制突出真正因果区域。

实验结果

研究问题

• RQ1 因果前门干预是否能在无需显式标注的情况下，有效缓解医学报告生成中难以观测的视觉-语言混杂因素？
• RQ2 与非因果模型相比，所提出的 VDM 在关注真正病理区域方面表现如何？
• RQ3 LDM 在多大程度上提升了生成报告的语义相关性并减少了语言偏差？
• RQ4 VDM 与 LDM 的结合是否在事实一致性与多样性方面优于现有最先进方法？
• RQ5 VLCI 框架是否能在计算成本更低、推理速度更快的前提下，实现优于现有模型的性能？

主要发现

• VLCI 在 IU-Xray 和 MIMIC-CXR 两个数据集上均显著优于最先进方法，展现出更优的事实准确性和报告质量。
• VDM 使注意力图更聚焦于临床相关区域（如肺叶、胸膜、气管分叉），减少对肺底部等有偏见视觉特征的依赖。
• LDM 通过优化语义表征，减少了解码器中对如气管分叉等区域的冗余注意力，降低虚假语言模式的影响。
• 在 MIMIC-CXR 数据集上，当移除 LDM 时，BLEU-4 分数从 0.119 下降至 0.110，凸显其在语言去混杂中的关键作用。
• VDM 在 IU-Xray 上带来的性能提升大于在 MIMIC-CXR 上，表明其在更简单、更少复杂的报告中影响更强。
• 当移除 LDM 时，CIDEr 分数下降，证实语言去混杂对生成多样且准确报告至关重要。