[论文解读] LAPFormer: A Light and Accurate Polyp Segmentation Transformer

Mai Thanh Thi Nguyen, Tung Thanh Bui+3 more|arXiv (Cornell University)|Oct 10, 2022

Radiomics and Machine Learning in Medical Imaging被引用 7

一句话总结

LAPFormer 是一种轻量级、高精度的基于 Transformer 的结肠息肉分割模型，结合了分层 Transformer 编码器与一种新型 CNN 解码器，该解码器包含渐进式特征融合、特征精炼和选择模块。它在 CVC-ColonDB 上实现了最先进性能，在五个基准数据集上也取得了具有竞争力的结果，且参数量和 FLOPs 显著低于现有的基于 Transformer 的方法。

ABSTRACT

Polyp segmentation is still known as a difficult problem due to the large variety of polyp shapes, scanning and labeling modalities. This prevents deep learning model to generalize well on unseen data. However, Transformer-based approach recently has achieved some remarkable results on performance with the ability of extracting global context better than CNN-based architecture and yet lead to better generalization. To leverage this strength of Transformer, we propose a new model with encoder-decoder architecture named LAPFormer, which uses a hierarchical Transformer encoder to better extract global feature and combine with our novel CNN (Convolutional Neural Network) decoder for capturing local appearance of the polyps. Our proposed decoder contains a progressive feature fusion module designed for fusing feature from upper scales and lower scales and enable multi-scale features to be more correlative. Besides, we also use feature refinement module and feature selection module for processing feature. We test our model on five popular benchmark datasets for polyp segmentation, including Kvasir, CVC-Clinic DB, CVC-ColonDB, CVC-T, and ETIS-Larib

研究动机与目标

• 为解决结肠镜图像中息肉分割的挑战，这些图像在形状、大小和外观上具有高度可变性。
• 通过利用 Transformer 的全局上下文建模能力，提升模型的泛化能力和分割精度。
• 与现有基于 Transformer 的模型相比，降低计算复杂度，同时保持高性能。
• 通过多尺度特征融合与精炼模块，提升边界检测与细粒度分割能力。
• 开发一种轻量化但高精度的网络架构，适用于临床环境中实时息肉检测系统的部署。

提出的方法

• LAPFormer 使用分层 Transformer 编码器，从输入的结肠镜图像中提取全局上下文特征。
• 一种新型基于 CNN 的解码器集成了渐进式特征融合（PFF）模块，用于融合编码器不同阶段的多尺度特征。
• 解码器包含一个特征精炼模块（FRM），在特征融合前提升特征质量，以及一个特征选择模块（FSM），根据特征的相关性自适应地加权。
• 引入低级特征跳跃连接，以保留空间细节并改善边界定位。
• 使用平均池化和 Grad-CAM 可视化技术，分析分割过程中注意力机制与特征重要性。
• 该架构在五个公开的息肉分割数据集上，使用标准分割损失函数进行端到端训练。

实验结果

研究问题

• RQ1 混合的 Transformer-CNN 架构是否能在保持低计算成本的同时，实现更优的息肉分割性能？
• RQ2 渐进式特征融合在结合多尺度特征用于息肉分割方面有多高效？
• RQ3 特征精炼与选择模块在多大程度上提升了分割精度与边界检测能力？
• RQ4 集成低级特征是否显著增强了模型定位息肉边界的能力？
• RQ5 在标准息肉分割基准数据集上，LAPFormer 与最先进基于 Transformer 的模型相比，在性能与效率方面表现如何？

主要发现

• 在 Kvasir 数据集上，LAPFormer-S 的平均 Dice 分数为 0.910，平均 IoU 为 0.857，其效率优于多种最先进方法。
• 在 CVC-ColonDB 上，LAPFormer-L 的平均 Dice 分数为 0.815，平均 IoU 为 0.735，创下新的最先进性能记录。
• LAPFormer-L 仅需 18.96 GFLOPs 和 47.22M 参数，显著低于 ColonFormer-L（22.94 GFLOPs，52.94M 参数）及其他最先进模型。
• 特征选择模块（FSM）在所有数据集上均提升了性能，其中在 ETIS-Larib 上提升最大（mDice +0.029，mIoU +0.033）。
• 添加低级特征跳跃连接后，边界分割性能持续提升，在部分数据集上 mDice 最高提升 0.025。
• 消融实验证实，渐进式特征融合与精炼模块对最优性能至关重要，每个组件均对最终分割质量有显著贡献。