[论文解读] HarDNet-DFUS: An Enhanced Harmonically-Connected Network for Diabetic Foot Ulcer Image Segmentation and Colonoscopy Polyp Segmentation

Ting‐Yu Liao, Ching‐Hui Yang+4 more|arXiv (Cornell University)|Sep 15, 2022

Diabetic Foot Ulcer Assessment and Management被引用 14

一句话总结

HarDNet-DFUS 是一种新型医学图像分割网络，通过在 HarDNet-MSEG 主干网络中引入通道平衡的 HarDBlockV2 模块，并将解码器替换为基于大感受野注意力机制的 Lawin Transformer 解码器，实现了在糖尿病足溃疡和结肠镜息肉分割任务上的最先进性能。该模型在 MICCAI 2022 DFU 挑战赛中取得了 0.7287 的平均 Dice 系数，荣获第一名，并在 Kvasir 数据集上相比原始模型提升了 1.2% 的性能。

ABSTRACT

We present a neural network architecture for medical image segmentation of diabetic foot ulcers and colonoscopy polyps. Diabetic foot ulcers are caused by neuropathic and vascular complications of diabetes mellitus. In order to provide a proper diagnosis and treatment, wound care professionals need to extract accurate morphological features from the foot wounds. Using computer-aided systems is a promising approach to extract related morphological features and segment the lesions. We propose a convolution neural network called HarDNet-DFUS by enhancing the backbone and replacing the decoder of HarDNet-MSEG, which was SOTA for colonoscopy polyp segmentation in 2021. For the MICCAI 2022 Diabetic Foot Ulcer Segmentation Challenge (DFUC2022), we train HarDNet-DFUS using the DFUC2022 dataset and increase its robustness by means of five-fold cross validation, Test Time Augmentation, etc. In the validation phase of DFUC2022, HarDNet-DFUS achieved 0.7063 mean dice and was ranked third among all participants. In the final testing phase of DFUC2022, it achieved 0.7287 mean dice and was the first place winner. HarDNet-DFUS also deliver excellent performance for the colonoscopy polyp segmentation task. It achieves 0.924 mean Dice on the famous Kvasir dataset, an improvement of 1.2\% over the original HarDNet-MSEG. The codes are available on https://github.com/kytimmylai/DFUC2022 (for Diabetic Foot Ulcers Segmentation) and https://github.com/YuWenLo/HarDNet-DFUS (for Colonoscopy Polyp Segmentation).

研究动机与目标

• 提升临床环境中糖尿病足溃疡（DFU）分割的准确性，以应对人工评估耗时且不一致的问题。
• 将原先专为实时息肉分割设计的 SOTA 模型 HarDNet-MSEG 改造成更适合非实时、高精度需求的糖尿病足溃疡分割任务的高精度架构。
• 评估架构改进（包括新型主干网络和先进解码器）在 DFU 和息肉分割任务中的有效性。
• 通过集成技术、数据增强和多尺度监督实现鲁棒的性能表现。

提出的方法

• 用 HarDBlockV2 替换 HarDNet-MSEG 主干网络中的原始 HarDBlock 模块，该模块通过通道分裂和基于因子的残差连接，提升特征学习能力并减少内存访问。
• 在主干网络的过渡层中引入 SE 注意力模块，以增强多尺度特征的利用效率。
• 将 HarDNet-MSEG 中基于 RFB 的解码器替换为来自 Lawin Transformer 的大感受野注意力解码器，以实现更优的多尺度特征表示并提升分割精度。
• 应用五折交叉验证、深度监督、边界监督以及推理时增强（TTA）技术，以提升泛化能力和推理鲁棒性。
• 使用 Sigmoid 和 Tanh 函数对最终预测结果进行压缩，实验结果表明 Tanh 表现更优。
• 通过集成多个模型变体（HarDNet-DFUS、Deep1、Deep2、Boundary）进行集成推理，以最大化 Dice 系数。

实验结果

研究问题

• RQ1 通过借鉴 CSPNet 和 ShuffleNetV2 的通道平衡思想，对 HarDNet-MSEG 主干网络进行改进，是否能显著提升对小而形状不规则的病灶（如糖尿病足溃疡）的分割精度？
• RQ2 将基于 RFB 的解码器替换为基于 Transformer 的大感受野注意力解码器，是否能显著提升医学图像分割任务的性能？
• RQ3 集成策略（包括交叉验证、多尺度监督和推理时增强）在多大程度上能提升糖尿病足溃疡分割的泛化能力和 Dice 系数？
• RQ4 与原始的 HarDNet-MSEG 模型相比，改进后的模型在息肉分割任务中的表现如何，特别是在精度和推理速度方面？

主要发现

• 在 MICCAI 2022 DFU 挑战赛的验证阶段，HarDNet-DFUS 取得了 0.7063 的平均 Dice 系数，在 21 支参赛队伍中排名第三。
• 在 MICCAI 2022 DFU 挑战赛的最终测试阶段，HarDNet-DFUS 取得了 0.7287 的平均 Dice 系数，荣获第一名。
• 与原始的 HarDNet-MSEG 模型相比，该模型在 Kvasir 数据集上的平均 Dice 系数提升了 1.2%（从 0.912 提升至 0.918），证明其在息肉分割任务中具有更优的性能。
• 使用 Tanh 进行预测压缩相比 Sigmoid 表现更优，结合边界监督时在验证阶段取得了 0.7001 的 Dice 系数。
• 采用垂直翻转的推理时增强策略有效提升了性能，在验证阶段达到 0.7063 的 Dice 系数，测试阶段达到 0.7287，表明其在实现鲁棒推理方面的有效性。
• 尽管采用了更复杂的解码器，HarDNet-DFUS 在息肉分割任务中仍保持了 30 FPS 的实时推理速度，展现了精度与效率之间的良好平衡。