[论文解读] ConDSeg: A General Medical Image Segmentation Framework via Contrast-Driven Feature Enhancement

Mengqi Lei, Haochen Wu+2 more|arXiv (Cornell University)|Dec 11, 2024

Medical Imaging and Analysis被引用 4

一句话总结

ConDSeg 是一种通用的医学图像分割框架，通过一致性强化预训练策略和语义信息解耦模块，增强了对低对比度和软边界条件的鲁棒性，从而减少不确定性。它采用基于对比度的特征聚合方法和尺寸感知解码器，提升了前景-背景区分度与多尺度定位能力，在五个不同的医学影像数据集上实现了最先进性能。

ABSTRACT

Medical image segmentation plays an important role in clinical decision making, treatment planning, and disease tracking. However, it still faces two major challenges. On the one hand, there is often a ``soft boundary'' between foreground and background in medical images, with poor illumination and low contrast further reducing the distinguishability of foreground and background within the image. On the other hand, co-occurrence phenomena are widespread in medical images, and learning these features is misleading to the model's judgment. To address these challenges, we propose a general framework called Contrast-Driven Medical Image Segmentation (ConDSeg). First, we develop a contrastive training strategy called Consistency Reinforcement. It is designed to improve the encoder's robustness in various illumination and contrast scenarios, enabling the model to extract high-quality features even in adverse environments. Second, we introduce a Semantic Information Decoupling module, which is able to decouple features from the encoder into foreground, background, and uncertainty regions, gradually acquiring the ability to reduce uncertainty during training. The Contrast-Driven Feature Aggregation module then contrasts the foreground and background features to guide multi-level feature fusion and key feature enhancement, further distinguishing the entities to be segmented. We also propose a Size-Aware Decoder to solve the scale singularity of the decoder. It accurately locate entities of different sizes in the image, thus avoiding erroneous learning of co-occurrence features. Extensive experiments on five medical image datasets across three scenarios demonstrate the state-of-the-art performance of our method, proving its advanced nature and general applicability to various medical image segmentation scenarios. Our released code is available at \url{https://github.com/Mengqi-Lei/ConDSeg}.

研究动机与目标

• 解决医学图像中边界模糊和对比度低的问题，这些因素会损害分割精度。
• 克服医学图像中的共现偏差，即模型学习到相似大小病灶之间的虚假相关性。
• 提升模型在特征提取过程中对光照和对比度变化的鲁棒性。
• 通过尺寸感知解码器架构，实现对不同尺寸实体的精确定位。
• 开发一种可广泛适用于多种医学影像模态和分割任务的通用框架。

提出的方法

• 提出一致性强化（CR），一种两阶段预训练策略，通过最大化原始输入与强增强输入之间预测结果的一致性，提升编码器的鲁棒性。
• 提出语义信息解耦（SID）模块，将编码器特征划分为前景、背景和不确定性区域，通过损失函数促进不确定性降低和掩码精度提升。
• 设计对比度驱动的特征聚合（CDFA）模块，通过对比前景与背景特征来引导多层次特征融合，增强关键特征以提升分割性能。
• 实现尺寸感知解码器（SA-Decoder），采用针对不同尺度范围的独立头结构，提升对不同尺寸物体的定位精度。
• 采用两阶段训练流程：首先使用CR对编码器进行预训练，然后微调完整网络，从而提升收敛速度与性能表现。
• 结合交叉熵损失与Dice损失，并施加互补约束，以优化SID和CDFA组件。

实验结果

研究问题

• RQ1 对比自监督预训练策略是否能提升编码器在医学图像中低对比度和光照变化下的鲁棒性？
• RQ2 将特征解耦为前景、背景和不确定性区域是否能降低模型不确定性并提升分割精度？
• RQ3 利用前景与背景特征之间的对比信息是否能增强多层次特征融合并提升分割性能？
• RQ4 尺寸感知解码器架构是否能缓解尺度奇异问题，并提升对不同尺寸解剖结构的定位能力？
• RQ5 所有所提组件的集成是否能在多个医学图像分割基准上实现最先进性能？

主要发现

• ConDSeg 在五个医学图像分割数据集上实现了最先进性能，包括 Kvasir-SEG、GlaS 等，在 Kvasir-SEG 数据集上达到平均 mIoU 84.6% 和 mDSC 90.5%。
• 与无预训练直接训练相比，一致性强化策略使 mIoU 提升了 7.3 个百分点。
• 第一阶段使用 CR 的两阶段训练策略相比单阶段训练，收敛更快且性能更优。
• 在 GlaS 数据集上，加入 SID 和 CDFA 模块后，mIoU 提升 5.0 个百分点，mDSC 提升 2.9 个百分点。
• 完整 ConDSeg 框架（含 SA-Decoder）在 GlaS 数据集上达到最高 mIoU（85.1%）和 mDSC（91.6%），优于所有消融变体。
• 消融实验表明，CR、SID、CDFA 和 SA-Decoder 每个组件均对性能有增量贡献，完整模型达到最优结果。