[论文解读] Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation

Fenglin Liu, Xian Wu+3 more|arXiv (Cornell University)|Jun 13, 2021

Multimodal Machine Learning Applications参考文献 43被引用 20

一句话总结

本文提出 PPKED，一种用于放射科报告生成的新框架，通过探索后验知识（通过疾病主题标签定位异常区域）和先验知识（医学知识图谱和先前报告），并利用多领域蒸馏模块进行知识提炼，从而减轻视觉和文本数据偏差。该方法在 MIMIC-CXR 和 IU-Xray 数据集上优于先前的最先进模型，生成的报告更准确、更均衡、更详细，且异常检测能力得到提升。

ABSTRACT

Automatically generating radiology reports can improve current clinical practice in diagnostic radiology. On one hand, it can relieve radiologists from the heavy burden of report writing; On the other hand, it can remind radiologists of abnormalities and avoid the misdiagnosis and missed diagnosis. Yet, this task remains a challenging job for data-driven neural networks, due to the serious visual and textual data biases. To this end, we propose a Posterior-and-Prior Knowledge Exploring-and-Distilling approach (PPKED) to imitate the working patterns of radiologists, who will first examine the abnormal regions and assign the disease topic tags to the abnormal regions, and then rely on the years of prior medical knowledge and prior working experience accumulations to write reports. Thus, the PPKED includes three modules: Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE) and Multi-domain Knowledge Distiller (MKD). In detail, PoKE explores the posterior knowledge, which provides explicit abnormal visual regions to alleviate visual data bias; PrKE explores the prior knowledge from the prior medical knowledge graph (medical knowledge) and prior radiology reports (working experience) to alleviate textual data bias. The explored knowledge is distilled by the MKD to generate the final reports. Evaluated on MIMIC-CXR and IU-Xray datasets, our method is able to outperform previous state-of-the-art models on these two datasets.

研究动机与目标

• 为解决放射科报告生成中严重的视觉和文本数据偏差问题，其中正常发现占主导地位，而罕见异常被严重低估。
• 通过首先识别异常区域，然后利用既往医学知识和临床经验，模拟放射科医生的临床工作流程。
• 开发一种能有效探索并蒸馏后验知识（基于图像）和先验知识（基于知识）的框架，以提升报告生成质量。
• 生成更准确、更多样化且更具临床相关性的报告，以更好地捕捉罕见但关键的异常。

提出的方法

• 后验知识探索器（PoKE）利用疾病主题标签定位X光片中的异常区域并进行注意力聚焦，从而减少视觉数据偏差。
• 先验知识探索器（PrKE）从预先构建的医学知识图谱和检索到的先前放射科报告中编码先验知识，以减少文本数据偏差。
• 多领域知识蒸馏器（MKD）通过自适应蒸馏注意力（ADA）机制，自适应地融合后验知识和先验知识，该机制为每个生成的句子学习动态注意力权重。
• ADA 机制计算注意力权重 λ₁ 和 λ₂，以平衡后验知识和先验知识的贡献，对与异常相关的文本内容分配更高的权重。
• 该框架采用基于 Transformer 的解码器，以建模报告生成中的长距离依赖关系，提升连贯性和流畅性。
• 在视觉、文本和结构三个领域应用知识蒸馏，确保生成报告与临床发现保持一致。

Figure 1: Two examples of ground truth reports and reports generated by HRNN [ 19 ] and our method. The Red colored text indicates the abnormalities in reports. The Blue colored text stands for the similar sentences used to describe the normalities in ground truth reports. There are notable data bia

实验结果

研究问题

• RQ1 通过疾病主题标签探索后验知识，是否能提升对放射科图像中罕见且多样的异常区域的检测能力？
• RQ2 来自医学知识图谱和历史报告的先验知识，是否能减少报告生成中的文本数据偏差？
• RQ3 后验知识与先验知识之间的自适应知识蒸馏，是否能生成更准确、更均衡的报告？
• RQ4 所提出的 PPKED 框架在多大程度上优于现有的最先进放射科报告生成模型？

主要发现

• PPKED 框架在 MIMIC-CXR 和 IU-Xray 两个数据集上均优于先前的最先进模型，展现出更优越的报告生成性能。
• 自适应蒸馏注意力（ADA）机制成功学习到为与异常相关的知识分配更高的注意力权重，其中异常句子的 λ₁ 和 λ₂ 值显著高于正常句子。
• 模型生成的报告与真实标签对齐更好，包括对罕见异常（如心脏扩大、胸腔积液、肺不张）的准确描述，如定性示例所示。
• MKD 模块中使用基于 Transformer 的解码器，相比基于 LSTM 的解码器表现更优，证实其在建模长而连贯序列方面的有效性。
• 蒸馏过程有效利用了先前工作经历（检索到的报告）和先验医学知识（知识图谱），其中正常性描述的 λ₂ 值更高，因其具有更丰富的先验文本模式。
• 在 'Normal' 类别的 AUC 得分是所有对比模型中最高，表明其在生成准确正常性描述方面表现优异。

Figure 2: Illustration of our proposed Posterior-and-Prior Knowledge Exploring-and-Distilling (PPKED) approach, which includes Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE) and Multi-domain Knowledge Distiller (MKD). Specifically, PoKE explores the posterior knowledge by extra