[论文解读] KiUT: Knowledge-injected U-Transformer for Radiology Report Generation

Zhongzhen Huang, Xiaofan Zhang+1 more|arXiv (Cornell University)|Jun 20, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

KiUT 提出了一种知识注入的 U-Transformer 用于放射科报告生成，通过 U-连接编码器-解码器架构和注入的知识蒸馏器，整合视觉、上下文和临床知识。该方法在 IU-Xray 和 MIMIC-CXR 数据集上实现了最先进性能，借助症状图和多层次特征交互，显著提升了异常描述的准确性和报告的连贯性。

ABSTRACT

Radiology report generation aims to automatically generate a clinically accurate and coherent paragraph from the X-ray image, which could relieve radiologists from the heavy burden of report writing. Although various image caption methods have shown remarkable performance in the natural image field, generating accurate reports for medical images requires knowledge of multiple modalities, including vision, language, and medical terminology. We propose a Knowledge-injected U-Transformer (KiUT) to learn multi-level visual representation and adaptively distill the information with contextual and clinical knowledge for word prediction. In detail, a U-connection schema between the encoder and decoder is designed to model interactions between different modalities. And a symptom graph and an injected knowledge distiller are developed to assist the report generation. Experimentally, we outperform state-of-the-art methods on two widely used benchmark datasets: IU-Xray and MIMIC-CXR. Further experimental results prove the advantages of our architecture and the complementary benefits of the injected knowledge.

研究动机与目标

• 为解决现有模型在生成准确、类似放射科医生报告方面的局限性，通过整合多模态知识。
• 减少放射科报告生成中的数据偏差，特别是正常发现和区域的过度代表。
• 通过建模图像区域与临床实体之间的复杂关系，提升报告质量。
• 开发一种轻量化、高效的架构，增强视觉与语言之间的跨模态交互。
• 验证在解码阶段注入知识蒸馏的有效性，以实现更好的临床推理。

提出的方法

• 设计编码器与解码器之间的 U-连接架构，以实现视觉、上下文和临床模态之间多层次的交互与特征融合。
• 从专家标注的临床实体及其关系构建症状图，提供具有同质嵌入空间的结构化医学知识。
• 在解码器顶部引入注入的知识蒸馏器，以在词预测过程中动态蒸馏并整合视觉、上下文和临床知识。
• 区域关系编码器捕获图像区域之间的内在（区域内）和外在（区域间）关系，以增强异常检测能力。
• 模型采用基于 Transformer 的编码器-解码器框架，结合多头自注意力和前馈网络，适用于跨模态生成任务。
• 知识注入发生在解码阶段，避免干扰视觉特征学习，并确保异构嵌入空间之间的对齐。

实验结果

研究问题

• RQ1 编码器与解码器之间的 U-连接架构是否能改善放射科报告生成中的多层次特征交互？
• RQ2 通过症状图注入临床知识在多大程度上影响生成报告的准确性和临床相关性？
• RQ3 从视觉、上下文和临床特征中进行知识蒸馏，在多大程度上提升了报告生成性能？
• RQ4 所提出方法是否在标准放射科报告基准上优于现有最先进模型？
• RQ5 该模型如何处理常被标准图像字幕模型忽略的细微或复杂异常？

主要发现

• KiUT 在 IU-Xray 和 MIMIC-CXR 数据集上均实现了最先进性能，在 BLEU、ROUGE 等标准指标上优于先前方法。
• 消融实验表明，若同时移除上下文和临床特征，BLEU-1 分数将从 0.393 降至 0.337，证实二者在报告生成中的关键作用。
• U-连接结构相比标准的一对一连接，将 BLEU-1 提升 0.01，且在参数更少的情况下达到与更复杂网格连接相当的性能。
• 定性分析表明，KiUT 能准确描述细微发现，如“右侧膈肌轻度抬高”和“支撑装置”，展现出对细微异常更高的敏感性。
• 该模型成功生成上下文连贯的报告，体现临床推理能力，例如因胸腔积液推断出心脏轮廓评估困难。
• 注入的知识蒸馏器使模型能够跨症状进行推理，如在报告中正确关联影像发现与临床意义。