[论文解读] Extreme Augmentation : Can deep learning based medical image segmentation be trained using a single manually delineated scan?

Bilwaj Gaonkar, Edwards, Matthew+3 more|arXiv (Cornell University)|Oct 3, 2018

Medical Imaging and Analysis参考文献 30被引用 7

一句话总结

本论文表明，通过应用极端数据增强技术，仅使用单张手动勾画的扫描图像，基于深度学习的医学图像分割方法即可实现临床可用的性能——每张原始扫描图像可生成多达50个增强图像块。仅使用一张扫描图像和50倍增强时，模型的Dice分数达到0.73；当使用九张扫描图像时，分数上升至0.86，表明高强度数据增强可显著减少对手动标注的需求，同时生成的分割结果仅需极少的专家修正即可用于后续训练。

ABSTRACT

Yes, it can. Data augmentation is perhaps the oldest preprocessing step in computer vision literature. Almost every computer vision model trained on imaging data uses some form of augmentation. In this paper, we use the inter-vertebral disk segmentation task alongside a deep residual U-Net as the learning model, to explore the effectiveness of augmentation. In the extreme, we observed that a model trained on patches extracted from just one scan, with each patch augmented 50 times; achieved a Dice score of 0.73 in a validation set of 40 cases. Qualitative evaluation indicated a clinically usable segmentation algorithm, which appropriately segments regions of interest, alongside limited false positive specks. When the initial patches are extracted from nine scans the average Dice coefficient jumps to 0.86 and most of the false positives disappear. While this still falls short of state-of-the-art deep learning based segmentation of discs reported in literature, qualitative examination reveals that it does yield segmentation, which can be amended by expert clinicians with minimal effort to generate additional data for training improved deep models. Extreme augmentation of training data, should thus be construed as a strategy for training deep learning based algorithms, when very little manually annotated data is available to work with. Models trained with extreme augmentation can then be used to accelerate the generation of manually labelled data. Hence, we show that extreme augmentation can be a valuable tool in addressing scaling up small imaging data sets to address medical image segmentation tasks.

研究动机与目标

• 研究深度学习模型是否能在医学图像分割任务中，仅使用极小规模的手动标注数据集进行有效训练。
• 评估在仅有一张或少数几张扫描图像可用于训练时，极端数据增强对模型性能的影响。
• 提出一种在临床环境中专家标注资源有限的情况下，加速训练数据创建的实用策略。
• 证明经增强的模型可生成临床可用的分割结果，且仅需极少的专家修正。

提出的方法

• 采用深度残差U-Net架构，从T1加权MRI扫描图像中提取128×128像素的图像块作为输入。
• 通过几何变换（包括旋转、缩放、错切和镜像）对图像块进行增强，每张原始图像块最多生成50个增强版本。
• 模型训练目标为最大化预测分割掩膜与真实分割掩膜之间的Dice系数。
• 训练使用1至9张手动勾画的扫描图像，每张图像块的增强倍数范围为5倍至50倍。
• 在来自多个扫描设备的40张独立扫描图像上进行验证，以评估模型的泛化能力。
• 由临床医生对模型生成的分割结果进行定性评估，以判断其临床可用性及假阳性模式。

实验结果

研究问题

• RQ1 当仅使用一张手动勾画的扫描图像进行训练时，深度学习模型能否实现临床有用的分割性能？
• RQ2 在训练数据极度有限的情况下，极端数据增强对分割性能有何影响？
• RQ3 增强模型在多大程度上可以减少医学图像分割中对手动标注的需求？
• RQ4 临床医生是否可仅通过极少工作量的修正，将模型输出用于生成额外的训练数据？

主要发现

• 在仅使用一张手动勾画的扫描图像并配合50倍数据增强的情况下，模型在40例验证集上的Dice分数达到0.73。
• 当训练数据扩展至九张扫描图像并保持50倍增强时，平均Dice分数提升至0.86。
• 定性评估显示，分割结果具有临床可用性，仅存在少量需修正的假阳性斑点。
• 模型输出仅需极少的专家修正，即可高效地用于重新训练。
• 即使在小样本数据集上，极端数据增强也显著提升了模型性能，优于标准增强策略在低数据场景下的表现。
• 结果表明，极端数据增强可作为一种可扩展的策略，显著加速在标注资源有限的临床环境中深度学习模型的开发。