[论文解读] Knowledge-driven Encode, Retrieve, Paraphrase for Medical Image Report Generation

Christy Y. Li, Xiaodan Liang+2 more|arXiv (Cornell University)|Mar 25, 2019

Multimodal Machine Learning Applications参考文献 41被引用 5

一句话总结

本文提出了一种基于知识的编码-检索-改写（Knowledge-driven Encode, Retrieve, Paraphrase, KERP）框架，用于医学图像报告生成。该框架整合了医学知识、模板检索与神经改写技术。通过利用图注意力网络（Graph Transformer, GTR）从视觉特征中建模异常图结构，KERP在两个基准数据集上实现了报告质量、异常检测以及可解释注意力定位方面的最先进性能。

ABSTRACT

Generating long and semantic-coherent reports to describe medical images poses great challenges towards bridging visual and linguistic modalities, incorporating medical domain knowledge, and generating realistic and accurate descriptions. We propose a novel Knowledge-driven Encode, Retrieve, Paraphrase (KERP) approach which reconciles traditional knowledge- and retrieval-based methods with modern learning-based methods for accurate and robust medical report generation. Specifically, KERP decomposes medical report generation into explicit medical abnormality graph learning and subsequent natural language modeling. KERP first employs an Encode module that transforms visual features into a structured abnormality graph by incorporating prior medical knowledge; then a Retrieve module that retrieves text templates based on the detected abnormalities; and lastly, a Paraphrase module that rewrites the templates according to specific cases. The core of KERP is a proposed generic implementation unit---Graph Transformer (GTR) that dynamically transforms high-level semantics between graph-structured data of multiple domains such as knowledge graphs, images and sequences. Experiments show that the proposed approach generates structured and robust reports supported with accurate abnormality description and explainable attentive regions, achieving the state-of-the-art results on two medical report benchmarks, with the best medical abnormality and disease classification accuracy and improved human evaluation performance.

研究动机与目标

• 为解决生成长篇、连贯且临床准确的医学报告的挑战，通过整合视觉、语言和特定领域医学知识来实现。
• 通过结构化知识图谱显式建模异常关系，提升报告生成的鲁棒性。
• 通过生成与临床发现对齐的注意力图，增强模型的可解释性。
• 通过三阶段流水线（编码-检索-改写）平衡基于检索的可靠性与生成的流畅性。
• 在医学报告基准测试中，实现自动评估与人工评估指标的最先进性能。

提出的方法

• 编码模块利用先验医学知识将视觉特征转换为结构化的异常图，其中节点表示临床异常，边编码异常之间的关系依赖。
• 检索模块基于异常图中检测到的异常，检索相关的文本模板，利用预先存在的临床模板。
• 改写模块通过融入病例特异性细节，重写并丰富检索到的模板，提升流畅性与准确性。
• 一种新型图注意力网络（GTR）单元通过注意力机制，在多领域图结构数据（如知识图谱、图像、序列）之间实现动态转换。
• GTR 结合先验知识并学习鲁棒的图表示，实现视觉、知识与语言图之间的有效跨模态转换。
• 该框架通过端到端训练，联合优化异常分类、模板检索与报告生成。

实验结果

研究问题

• RQ1 与纯学习方法相比，基于知识驱动且检索增强的框架是否能提升医学图像报告生成的准确性和连贯性？
• RQ2 图结构化的医学异常表示在建模临床关系和提升诊断推理方面是否有效？
• RQ3 改写模块在多大程度上提升了检索模板的流畅性与临床相关性？
• RQ4 所提出的图注意力网络（GTR）单元是否能在多模态医学人工智能中泛化于多样化的图结构数据？
• RQ5 整合结构化医学知识是否能生成与放射学发现对齐的更可解释的注意力图？

主要发现

• KERP 在 IU X-Ray 和 CX-CHR 两个数据集上，所有自动评估指标（包括 BLEU-1 至 BLEU-4 和 ROUGE-L）均达到最先进性能。
• 在 IU X-Ray 数据集上，KERP 在 BLEU-1,2,3,4 和 ROUGE-L 指标上均优于所有基线模型，并且在非强化学习模型中取得了最高的 CIDEr 得分。
• 在 CX-CHR 数据集上，KERP 显著优于 KER 基线模型（无改写步骤），证明了改写步骤在提升流畅性与自然度方面的有效性。
• KERP 在异常与疾病分类的 AUC 指标上表现最佳，在两个数据集上均比 DenseNet 提升超过 6%，表明医学知识增强了特征学习能力。
• 人工评估确认，KERP 生成的报告在流畅性、准确性和临床相关性方面均优于所有对比基线模型。
• 定性分析显示，生成报告与视觉注意力图之间具有强一致性，注意力聚焦于临床相关区域，例如异常病例中的右上肺区域。