[论文解读] METransformer: Radiology Report Generation by Transformer with Multiple Learnable Expert Tokens

Zhanyu Wang, Lingqiao Liu+2 more|arXiv (Cornell University)|Apr 5, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

METransformer 在基于 Transformer 的模型中提出了一种多专家注意力机制，通过在编码器和解码器中引入可学习的专家标记，实现对图像区域的互补与多样化注意力。通过使用正交损失鼓励专家注意力的差异性，并采用基于指标的投票策略选择最终报告，该方法在 IU-Xray 和 MIMIC-CXR 数据集上实现了最先进性能，参数增加极少，效率与准确性均优于集成方法。

ABSTRACT

In clinical scenarios, multi-specialist consultation could significantly benefit the diagnosis, especially for intricate cases. This inspires us to explore a "multi-expert joint diagnosis" mechanism to upgrade the existing "single expert" framework commonly seen in the current literature. To this end, we propose METransformer, a method to realize this idea with a transformer-based backbone. The key design of our method is the introduction of multiple learnable "expert" tokens into both the transformer encoder and decoder. In the encoder, each expert token interacts with both vision tokens and other expert tokens to learn to attend different image regions for image representation. These expert tokens are encouraged to capture complementary information by an orthogonal loss that minimizes their overlap. In the decoder, each attended expert token guides the cross-attention between input words and visual tokens, thus influencing the generated report. A metrics-based expert voting strategy is further developed to generate the final report. By the multi-experts concept, our model enjoys the merits of an ensemble-based approach but through a manner that is computationally more efficient and supports more sophisticated interactions among experts. Experimental results demonstrate the promising performance of our proposed model on two widely used benchmarks. Last but not least, the framework-level innovation makes our work ready to incorporate advances on existing "single-expert" models to further improve its performance.

研究动机与目标

• 为解决放射科报告生成中细粒度注意力的挑战，其中异常区域较小且位置无关。
• 通过在单个神经网络中建模多个专家视角，模拟多专科临床会诊过程。
• 通过正交正则化使专家标记学习互补的视觉表征，从而提升报告质量与多样性。
• 开发一种计算效率更高的集成模型替代方案，在保持高性能的同时仅增加极少参数。

提出的方法

• 在 Transformer 主干网络的编码器和解码器中引入多个可学习的“专家标记”，实现并行专家建模。
• 在编码器中，专家标记关注视觉标记，并通过线性与双线性注意力机制相互交互，以捕捉多样化的图像区域。
• 应用正交损失以最小化专家标记之间的注意力重叠，鼓励其关注不同且互补的图像区域。
• 在解码器中，每个专家标记引导词嵌入与视觉标记之间的交叉注意力，生成 M 个候选报告（对应 M 个专家）。
• 采用基于指标的专家投票策略，从 M 个候选报告中选择最终报告，提升结果的鲁棒性与临床相关性。
• 采用双流架构：视觉 Transformer（ViT）编码器与双线性 Transformer 编码器，以增强细粒度特征学习能力。

实验结果

研究问题

• RQ1 在基于 Transformer 的模型中引入多个可学习的专家标记，是否能通过实现对图像区域的多样化与互补性注意力，从而提升放射科报告生成质量？
• RQ2 与单专家模型相比，对专家标记施加正交正则化后，其注意力多样性与报告质量有何变化？
• RQ3 所提出的多专家框架是否能在显著减少参数量的前提下，实现优于集成方法的性能？
• RQ4 基于指标的专家投票策略在多大程度上提升了生成报告的临床相关性与准确性？
• RQ5 随着专家标记数量的增加，该模型是否能保持高效扩展性，而不会出现性能下降？

主要发现

• METransformer 在 IU-Xray 与 MIMIC-CXR 基准测试中均达到最先进性能，优于现有单专家与集成方法。
• 将专家标记数量从 1 增加到 7 显著提升了 CIDEr 得分，7 个专家时性能达到最高。
• 当专家数量超过 7 个（如 9 个）时，性能略有下降，表明多样性与无关注意力噪声之间存在最优平衡点。
• 使用 7 个专家标记的 METransformer 在性能上优于三个集成基线模型，且参数仅比单专家模型多 0.007M（占 0.05‰），增长极小。
• 定性分析表明，每个专家标记均聚焦于一个独特且具有临床意义的图像区域，如肋膈角，从而提升了关键发现的定位能力。
• 视觉注意力图显示，与基线模型相比，METransformer 更好地将生成文本与相关解剖结构（如心脏）对齐。