[论文解读] AlignTransformer: Hierarchical Alignment of Visual Regions and Disease Tags for Medical Report Generation

Di You, Fenglin Liu+4 more|arXiv (Cornell University)|Mar 18, 2022

Multimodal Machine Learning Applications参考文献 46被引用 12

一句话总结

本文提出AlignTransformer，一种用于医学报告生成的新框架，通过使用层次化注意力将视觉区域与疾病标签对齐，生成以疾病为基准的特征，从而缓解数据偏差并提升长序列建模能力，突出异常区域。该方法在IU-Xray和MIMIC-CXR数据集上达到最先进性能，放射科医生更偏好其生成的报告，优于先前模型。

ABSTRACT

Recently, medical report generation, which aims to automatically generate a long and coherent descriptive paragraph of a given medical image, has received growing research interests. Different from the general image captioning tasks, medical report generation is more challenging for data-driven neural models. This is mainly due to 1) the serious data bias: the normal visual regions dominate the dataset over the abnormal visual regions, and 2) the very long sequence. To alleviate above two problems, we propose an AlignTransformer framework, which includes the Align Hierarchical Attention (AHA) and the Multi-Grained Transformer (MGT) modules: 1) AHA module first predicts the disease tags from the input image and then learns the multi-grained visual features by hierarchically aligning the visual regions and disease tags. The acquired disease-grounded visual features can better represent the abnormal regions of the input image, which could alleviate data bias problem; 2) MGT module effectively uses the multi-grained features and Transformer framework to generate the long medical report. The experiments on the public IU-Xray and MIMIC-CXR datasets show that the AlignTransformer can achieve results competitive with state-of-the-art methods on the two datasets. Moreover, the human evaluation conducted by professional radiologists further proves the effectiveness of our approach.

研究动机与目标

• 解决医学报告生成中的数据偏差问题，即正常区域在训练数据中占主导，导致模型忽略罕见但关键的异常。
• 克服生成长而连贯医学报告的挑战，该任务需要建模超出标准RNN容量的长序列。
• 通过将视觉特征基于疾病特定上下文，提升生成报告的准确性和临床相关性。
• 开发一种框架，通过视觉区域与疾病标签之间的层次化注意力，增强异常区域的表征。
• 通过自动指标和专业放射科医生的人工评估验证该方法的有效性。

提出的方法

• 引入对齐层次化注意力（AHA）模块，从输入图像预测疾病标签，并在多个粒度层次上将标签与视觉区域进行层次化对齐。
• 采用双向注意力机制：首先将疾病标签与视觉区域对齐，以提取疾病相关的特征；随后通过相关标签重新对齐视觉特征，实现优化。
• 利用从粗到细的多粒度视觉特征，结合疾病标签引导，集中关注显著的异常区域，以缓解数据偏差。
• 提出多粒度Transformer（MGT）解码器，通过学习的门控机制自适应融合多粒度疾病相关特征。
• 在MGT中采用基于Transformer的架构，有效建模长序列，生成连贯、结构化的医学报告。
• 将AHA与MGT结合，构建端到端可训练框架，提升特征表征与报告生成质量。

实验结果

研究问题

• RQ1 视觉区域与疾病标签之间的层次化对齐是否能改善医学图像特征中异常区域的表征？
• RQ2 使用疾病相关的视觉特征是否能降低医学报告生成中数据偏差的影响？
• RQ3 结合多粒度特征融合机制与Transformer解码器，是否能有效建模长而连贯的医学报告？
• RQ4 所提出的框架在自动指标与人工评估指标上，与最先进模型相比表现如何？
• RQ5 放射科医生是否更偏好AlignTransformer生成的报告，认为其在临床相关性与准确性上更优？

主要发现

• AlignTransformer在IU-Xray和MIMIC-CXR数据集上达到最先进性能，BLEU-4得分分别为0.173和0.204，优于先前方法（包括R2Gen和PPKED）。
• 仅AHA模块相比基线模型，BLEU-4提升18.8%，证明其在捕捉异常区域特征与缓解数据偏差方面的有效性。
• 完整AlignTransformer模型（含AHA与MGT）在人工评估中对R2Gen的胜率高达63%，表明放射科医生更偏好其临床表现。
• 消融实验表明，AHA与MGT模块均对性能有显著贡献，其中MGT在所有指标上进一步提升结果。
• 可视化结果表明，AlignTransformer能正确识别并描述罕见异常（如左下肺泡病变和胸腔积液），同时避免对正常区域的重复或错误描述。
• 该方法成功生成更长、更结构化的报告，内容准确且具有疾病特异性，经自动指标与专家评估双重验证。