[论文解读] Duplex Contextual Relation Network for Polyp Segmentation

Zijin Yin, Kongming Liang+2 more|arXiv (Cornell University)|Mar 11, 2021

Colorectal Cancer Screening and Detection被引用 9

一句话总结

本文提出了一种新型的深度学习框架——双工上下文关系网络（DCRNet），用于息肉分割，通过双注意力模块和基于区域的事件记忆，捕捉图像内与跨图像的上下文关系。该方法在EndoScene、Kvasir-SEG和PICCOLO数据集上均取得了最先进性能，推理速度达53 FPS，在PICCOLO上的Dice分数为85.13%，展示了其在临床部署中卓越的准确率与效率。

ABSTRACT

Polyp segmentation is of great importance in the early diagnosis and treatment of colorectal cancer. Since polyps vary in their shape, size, color, and texture, accurate polyp segmentation is very challenging. One promising way to mitigate the diversity of polyps is to model the contextual relation for each pixel such as using attention mechanism. However, previous methods only focus on learning the dependencies between the position within an individual image and ignore the contextual relation across different images. In this paper, we propose Duplex Contextual Relation Network (DCRNet) to capture both within-image and cross-image contextual relations. Specifically, we first design Interior Contextual-Relation Module to estimate the similarity between each position and all the positions within the same image. Then Exterior Contextual-Relation Module is incorporated to estimate the similarity between each position and the positions across different images. Based on the above two types of similarity, the feature at one position can be further enhanced by the contextual region embedding within and across images. To store the characteristic region embedding from all the images, a memory bank is designed and operates as a queue. Therefore, the proposed method can relate similar features even though they come from different images. We evaluate the proposed method on the EndoScene, Kvasir-SEG and the recently released large-scale PICCOLO dataset. Experimental results show that the proposed DCRNet outperforms the state-of-the-art methods in terms of the widely-used evaluation metrics.

研究动机与目标

• 为解决结肠镜图像中息肉外观高度多变及边界模糊的问题。
• 通过利用现有方法常被忽略的不同图像间共现视觉模式，提升分割精度。
• 通过联合建模图像内与图像间上下文关系，增强特征表示能力。
• 设计一种高效、轻量化的网络架构，适用于实时临床部署。
• 验证基于记忆增强机制的跨图像上下文建模在息肉分割中的有效性。

提出的方法

• 该方法采用基于U-Net的双分支架构，编码器为ResNet-34，集成两个并行模块：内部上下文关系模块（ICR）与外部上下文关系模块（ECR）。
• ICR模块使用位置注意力机制，计算单张图像内所有空间位置之间的相似性，自适应聚合特征，以增强局部表示的全局上下文感知能力。
• ECR模块计算给定区域与其它图像中区域之间的特征相似性，通过学习到的语义一致性实现跨图像特征增强。
• 区域跨批次记忆（ROM）作为队列实现，用于存储和检索先前处理图像中的特征区域嵌入，支持长距离、跨样本的特征相关性建模。
• 最终的分割预测通过融合ICR与ECR模块的特征生成，结合图像内与图像间上下文信息，提升判别能力。
• 模型采用Adam优化器训练150个周期，基础初始学习率为1e-4，数据增强包括随机翻转、缩放、平移与旋转。

实验结果

研究问题

• RQ1 建模跨图像上下文关系是否能显著提升息肉分割性能，超越仅依赖图像内上下文的方法？
• RQ2 事件记忆机制在存储和检索先前图像中的代表性特征以增强当前预测方面，效果如何？
• RQ3 双注意力模块（图像内与跨图像）的集成是否能带来更优的边界分割效果与对形态变化的鲁棒性？
• RQ4 与现有最先进息肉分割模型相比，该方法在准确率与推理速度方面表现如何？
• RQ5 该方法在图像质量与息肉特征差异较大的多样化数据集上，泛化能力如何？

主要发现

• 在EndoScene数据集上，DCRNet取得85.41%的Dice分数，在PICCOLO上为85.12%，在所有评估指标上均优于对比的最先进方法。
• 在大规模PICCOLO数据集上，DCRNet实现53 FPS的推理速度，模型参数量仅为28.7MB，显著优于其他模型在速度与参数效率方面的表现。
• 消融实验表明，ICR、ECR与ROM各模块对性能有逐步贡献，完整模型在PICCOLO上相比基线Dice分数提升2.31%。
• ECR与ROM模块在PICCOLO上的性能提升幅度明显高于EndoScene，表明跨图像建模在复杂多样的临床场景中更具优势。
• 该方法在PICCOLO上实现85.13%的边界F-measure，表明其轮廓分割精度显著优于现有方法。
• 该模型在所有方法中取得最高的Sα分数，表明其预测结果与真实标签之间具有最强的全局结构相似性。