[论文解读] Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation

Mingjie Li, Bingqian Lin+4 more|arXiv (Cornell University)|Mar 18, 2023

Topic Modeling被引用 4

一句话总结

该论文提出了一种动态图增强对比学习（DCL）框架，用于胸部X光报告生成。该框架通过整合检索报告中的特定知识与预设的一般知识图谱，构建动态知识图谱。通过对比学习和图注意力机制对视觉与文本表示进行优化，DCL显著提升了报告质量，在IU-Xray和MIMIC-CXR数据集上达到SOTA性能，CIDEr得分最高提升0.557。

ABSTRACT

Automatic radiology reporting has great clinical potential to relieve radiologists from heavy workloads and improve diagnosis interpretation. Recently, researchers have enhanced data-driven neural networks with medical knowledge graphs to eliminate the severe visual and textual bias in this task. The structures of such graphs are exploited by using the clinical dependencies formed by the disease topic tags via general knowledge and usually do not update during the training process. Consequently, the fixed graphs can not guarantee the most appropriate scope of knowledge and limit the effectiveness. To address the limitation, we propose a knowledge graph with Dynamic structure and nodes to facilitate medical report generation with Contrastive Learning, named DCL. In detail, the fundamental structure of our graph is pre-constructed from general knowledge. Then we explore specific knowledge extracted from the retrieved reports to add additional nodes or redefine their relations in a bottom-up manner. Each image feature is integrated with its very own updated graph before being fed into the decoder module for report generation. Finally, this paper introduces Image-Report Contrastive and Image-Report Matching losses to better represent visual features and textual information. Evaluated on IU-Xray and MIMIC-CXR datasets, our DCL outperforms previous state-of-the-art models on these two benchmarks.

研究动机与目标

• 解决医学报告生成中严重的视觉与文本数据偏差问题，尤其针对正常/异常病例不平衡及正常描述重复的问题。
• 克服固定医学知识图谱无法捕捉病例特异性临床关系（如“effusion”暗示“edema”）的局限性。
• 通过对比学习优化视觉与文本表示学习，提升报告生成质量与动态图构建的检索准确性。
• 将从检索报告中提取的领域特定知识整合到随图像动态演化的图结构中，提升语义准确性与临床术语使用。

提出的方法

• 基于通用医学知识构建基础知识图谱，包含28个实体（全局节点、7个器官、20个病灶）及其预定义关系。
• 使用密集检索方法为每张输入图像检索语义相似的报告。
• 利用RadGraph从检索报告中提取临床三元组（主体、关系、客体），识别病例特异性知识。
• 基于提取的三元组动态扩展图谱，添加新节点并重新定义关系，构建每张图像独有的动态图谱。
• 使用图神经网络（GNN）传播并优化节点特征，初始节点表示基于SciBert嵌入，生成上下文感知的节点表示。
• 通过图注意力Transformer解码器将图像特征与动态图谱表示融合，生成报告，同时优化图像-报告对比损失与匹配损失。

实验结果

研究问题

• RQ1 能否通过从检索报告中动态整合病例特异性知识，提升生成放射科报告的准确性与临床相关性？
• RQ2 在存在数据偏差的情况下，图像与报告特征之间的对比学习是否能有效提升视觉与文本表示质量？
• RQ3 能否证明随图像动态演化的图结构在捕捉临床相关关系方面优于固定知识图谱？
• RQ4 在动态图谱框架中，图像-报告对比损失与匹配损失在多大程度上提升了报告生成性能与检索准确性？

主要发现

• DCL在MIMIC-CXR数据集上取得0.557的CIDEr得分，较基线模型提升0.022，优于此前SOTA方法。
• 通过检索报告实现的动态知识整合显著提升了所有CIDEr、BLEU、ROUGE与METEOR指标表现，证实临床术语使用更加准确。
• 图像-报告对比损失（IRC）带来的性能增益高于图像-报告匹配损失（IRM），表明其在优化视觉与文本表示方面具有更强影响力。
• 预训练的ViT与SciBert显著提升模型性能，消融实验显示若移除这些初始化，性能急剧下降，凸显其在表示学习中的关键作用。
• 定性分析表明，DCL能生成临床准确的句子，如“airspace consolidation is noted within the left upper lobe compatible with pneumonia”，而R2Gen无法生成此类内容，归因于动态节点对疾病关键词的更好强调。
• 通过对比学习增强的动态图谱构建过程，成功捕捉到如“consolidation”提示“effusion”的临床相关关系，而静态图谱中此类关系缺失。