[论文解读] Reinforced Medical Report Generation with X-Linear Attention and Repetition Penalty

Wenting Xu, Qi Chang+2 more|arXiv (Cornell University)|Nov 16, 2020

Topic Modeling参考文献 21被引用 5

一句话总结

该论文提出 ReMRG-XR，一种基于强化学习的医学报告生成模型，通过引入 x-linear 注意力机制以捕捉视觉与文本模态之间的高阶特征交互，并采用重复惩罚机制以减少冗余术语的生成。该方法在 IU X-Ray 和 MIMIC-CXR 数据集上所有指标上均显著优于当前最先进基线模型，展现出更高的报告连贯性、准确性和多样性。

ABSTRACT

To reduce doctors' workload, deep-learning-based automatic medical report generation has recently attracted more and more research efforts, where attention mechanisms and reinforcement learning are integrated with the classic encoder-decoder architecture to enhance the performance of deep models. However, these state-of-the-art solutions mainly suffer from two shortcomings: (i) their attention mechanisms cannot utilize high-order feature interactions, and (ii) due to the use of TF-IDF-based reward functions, these methods are fragile with generating repeated terms. Therefore, in this work, we propose a reinforced medical report generation solution with x-linear attention and repetition penalty mechanisms (ReMRG-XR) to overcome these problems. Specifically, x-linear attention modules are used to explore high-order feature interactions and achieve multi-modal reasoning, while repetition penalty is used to apply penalties to repeated terms during the model's training process. Extensive experimental studies have been conducted on two public datasets, and the results show that ReMRG-XR greatly outperforms the state-of-the-art baselines in terms of all metrics.

研究动机与目标

• 解决现有医学报告生成模型在捕捉视觉与文本模态之间高阶特征交互方面的局限性。
• 克服基于 TF-IDF 的奖励函数（如 CIDEr）在强化学习中导致的脆弱性，避免重复术语的生成。
• 通过结构与训练阶段的创新，提升生成医学报告的连贯性、可读性与事实准确性。
• 验证在强化学习框架中结合 x-linear 注意力与重复惩罚机制在医学报告生成中的有效性。

提出的方法

• 在编码与解码过程中均采用基于双线性池化的 x-linear 注意力模块，以建模全局图像特征与区域特征之间的高阶交互。
• 通过查询（全局图像特征）与键值（区域特征）向量之间的外积计算，实现通道注意力机制，增强多模态推理能力。
• 在强化学习训练过程中引入重复惩罚机制，对重复标记进行惩罚，以提升句子多样性与流畅性。
• 采用两阶段训练流程：首先使用交叉熵损失进行 60 个周期的预训练，随后使用 CIDEr 作为奖励函数进行强化学习微调。
• 在强化学习训练中使用束搜索（beam size = 2），并采用余弦退火学习率衰减策略，持续 60 个周期，基础初始学习率为 1e-5。
• 在预训练阶段使用 Adam 优化器，结合 Noam 学习率衰减策略，设置 10,000 个预热训练步数。

实验结果

研究问题

• RQ1 能否有效建模医学图像与报告之间的高阶特征交互，从而提升生成准确性？
• RQ2 在强化学习训练中引入重复惩罚是否能减少术语重复并提升报告流畅性？
• RQ3 x-linear 注意力与重复惩罚的结合相较于现有注意力机制与基于强化学习的基线模型，在医学报告生成中表现如何？
• RQ4 通过消融实验，x-linear 注意力与重复惩罚对模型性能的独立贡献程度如何？

主要发现

• ReMRG-XR 在 IU X-Ray 与 MIMIC-CXR 数据集上，所有七个评估指标（包括 BLEU、ROUGE 和 CIDEr）均达到最先进性能。
• 引入重复惩罚的模型（ReMRG-XP）显著优于无重复惩罚版本（ReMRG-X），尤其在 ROUGE 与 BLEU 分数上表现突出，表明其在句子多样性与流畅性方面有明显提升。
• 消融实验确认，x-linear 注意力与重复惩罚对最优性能均至关重要：前者增强特征交互，后者减少冗余。
• 图 2 中的定性示例表明，ReMRG-XR 生成的报告在连贯性与临床准确性方面优于基线模型。
• 所有指标下，该模型性能均优于重新实现的基线模型（标注为 *），证实了所提组件的有效性。
• 仅使用 CIDEr 作为强化学习阶段的奖励函数不足以避免重复倾向，而重复惩罚机制能有效缓解此问题。