[论文解读] FANet: A Feedback Attention Network for Improved Biomedical Image Segmentation

Nikhil Kumar Tomar, Debesh Jha+6 more|arXiv (Cornell University)|Mar 31, 2021

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

FANet 提出了一种反馈注意力网络，通过利用前一训练周期的预测结果作为硬注意力引导，迭代地优化生物医学图像分割掩码。通过将先前周期的掩码与当前特征图统一，FANet 在七个公开数据集上以极低的额外计算开销提升了分割精度，优于当前最先进（SOTA）方法，且无需集成或数据增强。

ABSTRACT

The increase of available large clinical and experimental datasets has contributed to a substantial amount of important contributions in the area of biomedical image analysis. Image segmentation, which is crucial for any quantitative analysis, has especially attracted attention. Recent hardware advancement has led to the success of deep learning approaches. However, although deep learning models are being trained on large datasets, existing methods do not use the information from different learning epochs effectively. In this work, we leverage the information of each training epoch to prune the prediction maps of the subsequent epochs. We propose a novel architecture called feedback attention network (FANet) that unifies the previous epoch mask with the feature map of the current training epoch. The previous epoch mask is then used to provide a hard attention to the learned feature maps at different convolutional layers. The network also allows to rectify the predictions in an iterative fashion during the test time. We show that our proposed extit{feedback attention} model provides a substantial improvement on most segmentation metrics tested on seven publicly available biomedical imaging datasets demonstrating the effectiveness of FANet. The source code is available at \url{https://github.com/nikhilroxtomar/FANet}.

研究动机与目标

• 解决单步深度学习模型在捕捉生物医学图像内部及类间差异性方面的局限性。
• 通过在训练和推理过程中利用先前训练周期的信息来提升分割性能。
• 通过反馈机制实现预测的自我校正，通过迭代修剪和优化掩码。
• 减少对大规模、多样化数据集以及复杂数据增强或集成策略的依赖。
• 开发一种轻量化、端到端可训练的网络，在更少训练周期内保持高精度。

提出的方法

• FANet 引入一种反馈机制，将前一训练周期的预测掩码作为硬注意力图，用于引导当前周期的特征学习。
• 采用 MixPool 模块将特征图与前一周期的掩码统一，通过逐元素相乘实现空间注意力。
• 网络使用 SE-残差块来建模通道间特征依赖性，增强表征学习能力。
• 通过对比注意力机制整合空间注意力，抑制背景杂波并突出相关区域。
• 在推理阶段，模型通过相同的反馈机制执行迭代掩码优化，最多 10 次迭代被证明为最优。
• 反馈机制在训练和测试阶段均应用，使网络能够在不重新训练的情况下逐步提升预测性能。

实验结果

研究问题

• RQ1 通过利用前一预测结果进行迭代掩码优化，是否能提升在多样化生物医学图像数据集上的性能？
• RQ2 将先前周期的预测结果作为硬注意力输入，对特征表征和分割精度有何影响？
• RQ3 该反馈机制是否能减少对广泛数据增强或集成方法的需求？
• RQ4 在 FANet 架构中，推理阶段掩码优化的最优迭代次数是多少？
• RQ5 在准确率、训练效率和跨多个数据集的泛化能力方面，FANet 与 SOTA 方法相比表现如何？

主要发现

• FANet 在全部七个基准生物医学图像分割数据集上均取得显著提升，多个指标上优于现有 SOTA 方法。
• 掩码优化的推理阶段最优迭代次数为 10 次，尽管从第 2 次迭代起已获得显著增益，且第 5 次迭代后增益趋于平缓。
• 消融实验表明，带反馈的 MixPool 模块至关重要，即使参数量相同，移除该模块也会导致性能下降。
• 网络在更少训练周期内即可达到接近 SOTA 的性能，表明其样本效率更高，收敛更快。
• 定性结果表明，与 SOTA 方法相比，FANet 生成的分割图更清晰、区域更分明，且背景噪声更少。
• 反馈机制作为一种有效的硬注意力机制，增强了特征表征，且无需额外可学习参数或复杂变换。