[论文解读] Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation

Mingjie Li, Fuyu Wang+2 more|arXiv (Cornell University)|Jun 6, 2020

Multimodal Machine Learning Applications参考文献 40被引用 21

一句话总结

本文提出了一种辅助信号引导的知识编码器-解码器（ASGK）用于医学报告生成，通过整合内部视觉区域特征与外部医学教科书知识，模拟放射科医生的临床工作流程。通过利用辅助信号同时指导视觉注意力与语言知识，ASGK提升了细粒度医学标签分类的性能，并生成了更准确、语义一致的报告，在CX-CHR和一个新的COVID-19 CT报告数据集上超越了当前最先进方法。

ABSTRACT

Beyond the common difficulties faced in the natural image captioning, medical report generation specifically requires the model to describe a medical image with a fine-grained and semantic-coherence paragraph that should satisfy both medical commonsense and logic. Previous works generally extract the global image features and attempt to generate a paragraph that is similar to referenced reports; however, this approach has two limitations. Firstly, the regions of primary interest to radiologists are usually located in a small area of the global image, meaning that the remainder parts of the image could be considered as irrelevant noise in the training procedure. Secondly, there are many similar sentences used in each medical report to describe the normal regions of the image, which causes serious data bias. This deviation is likely to teach models to generate these inessential sentences on a regular basis. To address these problems, we propose an Auxiliary Signal-Guided Knowledge Encoder-Decoder (ASGK) to mimic radiologists' working patterns. In more detail, ASGK integrates internal visual feature fusion and external medical linguistic information to guide medical knowledge transfer and learning. The core structure of ASGK consists of a medical graph encoder and a natural language decoder, inspired by advanced Generative Pre-Training (GPT). Experiments on the CX-CHR dataset and our COVID-19 CT Report dataset demonstrate that our proposed ASGK is able to generate a robust and accurate report, and moreover outperforms state-of-the-art methods on both medical terminology classification and paragraph generation metrics.

研究动机与目标

• 解决现有医学报告生成模型对所有图像区域一视同仁、且因频繁出现正常性描述而产生数据偏差的局限性。
• 通过聚焦异常区域并整合教科书中的医学领域知识，模拟放射科医生的临床工作流程。
• 通过辅助信号减少多标签医学标记与报告生成中的数据低效性和偏差。
• 提升放射科报告中医学术语分类与自然语言生成质量。
• 在新的、具有临床相关性的COVID-19 CT报告数据集上验证该方法，并与最先进方法进行对比。

提出的方法

• 引入源自异常图像区域注意力引导特征融合的内部辅助信号，以指导视觉编码。
• 利用大规模医学教科书提供的外部辅助信号，对自然语言解码器进行预训练，以实现医学知识的记忆。
• 使用医学图编码器整合先验医学知识，并连接视觉与语言表征。
• 在训练过程中应用焦点损失（focal loss），以缓解多标签医学标签分类中的类别不平衡问题。
• 结合预训练的GPT风格解码器与知识增强的编码器，生成语义连贯、细粒度的报告。
• 利用放射科医生专家标注的报告构建新的COVID-19 CT报告数据集（COV-CTR），以评估模型的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 辅助信号在医学报告生成中如何提升异常区域检测能力，并减少无关图像区域带来的噪声？
• RQ2 外部医学教科书信号在多大程度上提升了生成报告的语义连贯性与准确性？
• RQ3 当正常发现主导训练数据时，焦点损失在多标签医学标签分类中如何缓解数据偏差？
• RQ4 内部与外部辅助信号的整合是否能带来优于无此类信号基线模型的性能？
• RQ5 所提出的ASGK框架在包括COVID-19 CT扫描在内的多种医学影像领域中具有多大程度的泛化能力？

主要发现

• 与基线模型相比，ASGK在CX-CHR数据集上的医学标签分类准确率提升了4.5%，自动评估指标相对提升15.6%。
• 引入内部辅助信号后，CX-CHR数据集上的CIDER-D得分提升15.6%，ROUGE-L提升1.4%，BLEU提升0.6%。
• 外部辅助信号使CX-CHR数据集上的CIDER-D得分从289.7%提升至317.2%，ROUGE-L从59.1%提升至66.9%，表明报告质量显著提高。
• 与标准交叉熵损失相比，焦点损失在两个数据集上分别将AUC指标退化减少了0.9%和0.7%，证明其在处理标签不平衡方面更具优势。
• 若无外部信号，模型会生成重复性语句且无法缓解数据偏差，证实外部知识在语义连贯性中的关键作用。
• 消融研究证实，内部信号增强了标签检测与细粒度描述能力，而外部信号则主要提升了生成报告的流畅性与连贯性。