[论文解读] Understanding the Tricks of Deep Learning in Medical Image Segmentation: Challenges and Future Directions

Dong Zhang, Yi Lin+5 more|arXiv (Cornell University)|Sep 21, 2022

Radiomics and Machine Learning in Medical Imaging被引用 20

一句话总结

本研究调查了六个实现阶段中常被忽视的 MedISeg“技巧”的广泛范围，采用一致基线进行经验评估其效果，并发布一个开源的可插拔 MedISeg 仓库。

ABSTRACT

Over the past few years, the rapid development of deep learning technologies for computer vision has significantly improved the performance of medical image segmentation (MedISeg). However, the diverse implementation strategies of various models have led to an extremely complex MedISeg system, resulting in a potential problem of unfair result comparisons. In this paper, we collect a series of MedISeg tricks for different model implementation phases (i.e., pre-training model, data pre-processing, data augmentation, model implementation, model inference, and result post-processing), and experimentally explore the effectiveness of these tricks on consistent baselines. With the extensive experimental results on both the representative 2D and 3D medical image datasets, we explicitly clarify the effect of these tricks. Moreover, based on the surveyed tricks, we also open-sourced a strong MedISeg repository, where each component has the advantage of plug-and-play. We believe that this milestone work not only completes a comprehensive and complementary survey of the state-of-the-art MedISeg approaches, but also offers a practical guide for addressing the future medical image processing challenges including but not limited to small dataset, class imbalance learning, multi-modality learning, and domain adaptation. The code and training weights have been released at: https://github.com/hust-linyi/seg_trick.

研究动机与目标

• 识别并对六个实现阶段（预训练、数据预处理、数据增强、模型实现、模型推理、结果后处理）中使用的技巧进行分类。
• 在一致的 2D/3D 基线（2D-UNet、3D-UNet）和代表性数据集上定量评估这些技巧的有效性。
• 提供实用指南和开源仓库，以实现未来 MedISeg 研究的公平比较和可插拔使用。

提出的方法

• 调查覆盖六个实现阶段的广泛技巧。
• 在两个标准基线（2D-UNet、3D-UNet）上使用四个医学数据集（2D ISIC 2018、2D CoNIC、3D KiTS19、3D LiTS）对技巧进行实验评估。
• 使用可重复的设置分析结果，并报告 Recall、Precision、Dice 和 IoU 指标下的性能。
• 开源一个 MedISeg 仓库，提供可插拔组件。

实验结果

研究问题

• RQ1 在标准基线上，六个 MedISeg 实现阶段常用技巧的定量影响有多大？
• RQ2 哪些技巧在 2D 与 3D 医学图像分割任务中提供最可靠的增益？
• RQ3 不同的预训练方案（有监督 vs 自监督）如何影响医学数据集上的下游分割性能？
• RQ4 数据预处理、增强和归一化策略是否具有数据集相关的效果？
• RQ5 所汇集的技巧是否有助于更公平的模型比较并引导未来的医学图像处理挑战？

主要发现

• 预训练：ImageNet-21k 预训练权重在 2D 分割中提供最大平均增益，Dice 与 IoU 有显著改善，尽管增益因数据集而异。
• 自监督权重（SimCLR、MoCo、ModelGe）可根据任务和数据集提供混合性改进；ModelGe 对 3D 任务显示潜力但可能对某些设置有害。
• 数据预处理：补丁大小、过采样和强度归一化显著影响 3D 分割；不当选择（如小补丁）会严重降级性能。
• 数据增强：将 GTAug 与 GANAug 结合在某些数据集上产生温和但持续的增益，效果因任务和数据集而异。
• 推理和后处理技巧是剩余组件中可能对结果产生实质性影响的，公平比较需要一致的实现细节。
• 开源的 MedISeg 仓库使技巧的即插即用集成成为可能，以促进更公平和更可重复的 MedISeg 研究。