[论文解读] DA-RefineNet:A Dual Input Whole Slide Image Segmentation Algorithm Based on Attention

Ziqiang Li, Rentuo Tao+2 more|arXiv (Cornell University)|Jul 15, 2019

Advanced Neural Network Applications参考文献 26被引用 4

一句话总结

本文提出DA-RefineNet，一种用于全切片图像（WSI）分割的双输入注意力机制U-Net变体，通过融合局部补丁级特征与全局全图特征，提升感受野范围并提高分割精度。通过利用注意力机制进行特征融合，该模型在单输入方法之上表现更优，尤其在区分良性与正常组织区域方面，显著降低了噪声并增强了上下文理解能力。

ABSTRACT

Automatic medical image segmentation has wide applications for disease diagnosing. However, it is much more challenging than natural optical image segmentation due to the high-resolution of medical images and the corresponding huge computation cost. The sliding window is a commonly used technique for whole slide image (WSI) segmentation, however, for these methods based on the sliding window, the main drawback is lacking global contextual information for supervision. In this paper, we propose a dual-inputs attention network (denoted as DA-RefineNet) for WSI segmentation, where both local fine-grained information and global coarse information can be efficiently utilized. Sufficient comparative experiments are conducted to evaluate the effectiveness of the proposed method, the results prove that the proposed method can achieve better performance on WSI segmentation compared to methods relying on single-input.

研究动机与目标

• 解决单输入深度学习模型在全切片图像（WSI）分割中的局限性，即缺乏全局上下文监督。
• 通过引入来自全WSI的粗粒度全局语义信息，指导局部补丁级预测，从而提升分割精度。
• 通过将全WSI下采样至与局部补丁分辨率匹配，降低计算成本，同时扩展感受野。
• 评估并优化特征融合策略，以有效结合细粒度局部特征与粗粒度全局特征。
• 证明注意力机制融合优于简单拼接或加法操作，实现更好的泛化能力与更快的收敛速度。

提出的方法

• 提出一种双输入编码器-解码器架构，其中一条分支处理局部高分辨率补丁，另一条分支处理下采样的全图WSI。
• 在局部与全局特征编码器中均采用ResNet-50或ResNet-101作为主干网络，以提取分层特征。
• 引入一种注意力机制特征融合模块，利用全局上下文作为引导，重新加权并重组局部特征。
• 应用来自RefineNet的级联残差池化与跳跃连接，以保留空间细节并增强特征表示。
• 在ICIA2018 WSI分割数据集上，使用标准数据增强技术，通过交叉熵损失端到端训练模型。
• 不应用任何后处理技术，以保持模型内在性能评估的完整性。

实验结果

研究问题

• RQ1 在全切片图像分析中，整合全局全图上下文是否能提升基于局部补丁模型的分割精度？
• RQ2 注意力机制特征融合与简单拼接或加法操作相比，在结合局部与全局特征时表现如何？
• RQ3 与单输入模型相比，所提出的双输入架构是否能减少在良性与正常组织区域的噪声与误分类？
• RQ4 当采用注意力机制融合时，浅层网络（如ResNet-50）是否能超越深层网络（如ResNet-101），表明效率得到提升？
• RQ5 模型性能在多大程度上依赖于特征融合策略的选择与网络深度？

主要发现

• 注意力机制双输入模型在ICIA2018测试集上取得了最高的Dice分数（0.892），显著优于单输入模型及多尺寸双输入基线模型。
• 注意力融合策略在ResNet-50上表现优于ResNet-101，表明注意力机制即使在使用较简单特征提取器时，也能实现有效的特征重组。
• 可视化结果表明，所提方法生成的分割掩膜更清晰，显著减少了红色噪声（将正常区域误分类为良性）现象，相比单输入模型。
• 通过利用全局上下文，模型减少了对正常与良性区域的误分类，有助于解决局部纹理差异带来的模糊性问题。
• 注意力机制融合策略提升了模型的鲁棒性与收敛速度，实现在降低计算成本的同时保持高性能。
• 消融实验确认，注意力机制融合在不同主干网络架构与数据集划分下，始终优于拼接与加法操作。