[论文解读] Learning Normalized Inputs for Iterative Estimation in Medical Image Segmentation

Michal Drozdzal, Gabriel Chartrand+7 more|arXiv (Cornell University)|Feb 16, 2017

Advanced Neural Network Applications参考文献 38被引用 5

一句话总结

该论文提出了一种新颖的医学图像分割流程，采用轻量级全卷积网络（FCN）作为可训练的预处理器，在将图像输入深层全卷积残差网络（FC-ResNet）之前对其进行归一化。该方法在EM ISBI 2012基准上取得了最先进性能，在肝脏病变分割任务中优于标准FCN，且在3D MRI前列腺分割任务中也表现出色，展现出在不同成像模态和解剖区域间的强大泛化能力。

ABSTRACT

In this paper, we introduce a simple, yet powerful pipeline for medical image segmentation that combines Fully Convolutional Networks (FCNs) with Fully Convolutional Residual Networks (FC-ResNets). We propose and examine a design that takes particular advantage of recent advances in the understanding of both Convolutional Neural Networks as well as ResNets. Our approach focuses upon the importance of a trainable pre-processing when using FC-ResNets and we show that a low-capacity FCN model can serve as a pre-processor to normalize medical input data. In our image segmentation pipeline, we use FCNs to obtain normalized images, which are then iteratively refined by means of a FC-ResNet to generate a segmentation prediction. As in other fully convolutional approaches, our pipeline can be used off-the-shelf on different image modalities. We show that using this pipeline, we exhibit state-of-the-art performance on the challenging Electron Microscopy benchmark, when compared to other 2D methods. We improve segmentation results on CT images of liver lesions, when contrasting with standard FCN methods. Moreover, when applying our 2D pipeline on a challenging 3D MRI prostate segmentation challenge we reach results that are competitive even when compared to 3D methods. The obtained results illustrate the strong potential and versatility of the pipeline by achieving highly accurate results on multi-modality images from different anatomical regions and organs.

研究动机与目标

• 为解决深层FC-ResNet对原始医学图像输入分布的敏感性问题，该问题可能限制其性能。
• 提升在电子显微镜、CT和MRI等多种医学成像模态下的分割精度。
• 探究预处理在实现FC-ResNet中有效迭代优化中的作用，利用其残差结构特性。
• 证明低容量FCN可作为高效、可学习的预处理器，优于传统手工设计的归一化方法。
• 验证该流程在2D和3D医学图像任务中的泛化能力与鲁棒性。

提出的方法

• 训练一个轻量级FCN作为端到端的预处理器，以归一化原始医学图像输入，学习特定模态的强度分布。
• 将预处理器的输出送入一个极深的FC-ResNet（超过100层），通过残差块对归一化输入进行迭代优化。
• FC-ResNet利用跳跃连接和批量归一化，实现深层优化与稳定的梯度传播，从而实现最终分割图的迭代估计。
• 整个流程为全卷积结构，可直接应用于不同成像模态而无需修改网络架构。
• 预处理器与FC-ResNet联合端到端训练，使网络能够学习到最优的输入归一化方式以提升分割性能。
• 该方法利用了ResNets的迭代推理解释：FCN提供初始预测，FC-ResNet通过多次残差更新逐步优化该预测。

实验结果

研究问题

• RQ1 可学习的轻量级FCN预处理器是否能显著提升深层FC-ResNet在医学图像分割中的性能？
• RQ2 与标准的手工设计预处理方法相比，该流程在多种成像模态下的分割精度表现如何？
• RQ3 2D FC-ResNet流程在具有挑战性的3D医学图像分割任务中能达到多大程度的竞争力？
• RQ4 预处理器的引入是否与FC-ResNets的迭代估计解释一致？是否增强了模型的鲁棒性？
• RQ5 该框架是否能在不修改网络架构的前提下，泛化到不同解剖区域和成像协议？

主要发现

• 所提出的流程在具有挑战性的EM ISBI 2012基准上取得了最先进性能，优于其他2D方法。
• 在3D MRI前列腺分割任务中，2D流程取得了具有竞争力的结果，表明其在应用于3D数据时仍具有强大泛化能力。
• 与标准FCN基线相比，该方法在肝脏病变CT图像上的分割精度有所提升，凸显了可学习预处理的优势。
• FCN预处理器有效归一化了输入数据，降低了扫描间强度差异，提升了下游分割性能。
• 当使用可训练预处理器时，该流程的性能显著提升，表明FC-ResNets对输入分布高度敏感，且从此类归一化中获益显著。
• 结果支持将FC-ResNets解释为执行迭代估计的过程：预处理器提供一个优化后的初始输入，供后续逐步优化。