[论文解读] U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger|arXiv (Cornell University)|May 18, 2015

Advanced Neural Network Applications参考文献 13被引用 102

一句话总结

本文提出U-Net，一种具有U形编码器-解码器结构的全卷积神经网络架构，能够在极少量标注训练数据下实现精确的生物医学图像分割。通过结合基于弹性形变的广泛数据增强和用于分离重叠细胞的加权损失函数，U-Net在电子显微镜神经元分割与光显微镜细胞追踪挑战赛中均达到最先进性能，显著优于先前方法，且在GPU上每张512×512图像的推理时间不足一秒。

ABSTRACT

There is large consent that successful training of deep networks requires many thousand annotated training samples. In this paper, we present a network and training strategy that relies on the strong use of data augmentation to use the available annotated samples more efficiently. The architecture consists of a contracting path to capture context and a symmetric expanding path that enables precise localization. We show that such a network can be trained end-to-end from very few images and outperforms the prior best method (a sliding-window convolutional network) on the ISBI challenge for segmentation of neuronal structures in electron microscopic stacks. Using the same network trained on transmitted light microscopy images (phase contrast and DIC) we won the ISBI cell tracking challenge 2015 in these categories by a large margin. Moreover, the network is fast. Segmentation of a 512x512 image takes less than a second on a recent GPU. The full implementation (based on Caffe) and the trained networks are available at http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net .

研究动机与目标

• 开发一种深度学习架构，实现在极少量标注训练数据下对生物医学图像进行高精度语义分割。
• 克服滑动窗口方法的局限性，后者速度慢且存在定位与上下文理解之间的权衡。
• 通过采用激进的数据增强技术，特别是弹性形变，实现在小样本数据集上的端到端训练。
• 通过为边界区域分配更高损失权重的加权损失函数，提升重叠细胞的分割性能。
• 设计一种支持通过重叠块推理策略无缝分割任意大尺寸图像的模型。

提出的方法

• U-Net架构由一个收缩（编码器）路径和一个对称的扩展（解码器）路径组成，其中收缩路径通过重复的卷积和最大池化操作提取特征，扩展路径则使用转置卷积（反卷积）进行上采样。
• 跳跃连接将收缩路径中的高分辨率特征与扩展路径中的上采样特征进行拼接，以保留空间信息，实现精确的定位。
• 网络仅使用有效卷积（valid convolutions）且不包含全连接层，确保输出分割图与输入在空间上对齐，并支持全分辨率推理。
• 通过重叠块策略处理大图像，即分块处理重叠图像块并合并预测结果，缺失的上下文通过镜像方式外推。
• 训练过程中应用基于弹性形变的广泛数据增强，以模拟真实的组织变异，提升泛化能力，且无需额外标注数据。
• 采用加权交叉熵损失函数，为重叠细胞之间的背景像素分配更高的损失权重，以提升分离精度。

实验结果

研究问题

• RQ1 当在极少数标注图像上进行训练时，全卷积网络是否能够实现在生物医学图像分割任务中的最先进性能？
• RQ2 在生物医学图像语义分割中，如何有效解决上下文理解与定位精度之间的权衡问题？
• RQ3 在低数据场景下，基于弹性形变的数据增强在多大程度上能提升模型的泛化能力？
• RQ4 单一架构能否在多种生物医学成像模式（如电子显微镜和相衬/DIC光显微镜）之间实现良好泛化？
• RQ5 跳跃连接与加权损失的结合在多大程度上能有效解决分割任务中重叠细胞的分离挑战？

主要发现

• 在ISBI电子显微镜分割挑战赛中，U-Net的形变误差为0.000353，显著优于先前最佳方法（0.000420），在10个提交结果中排名第一。
• 在电子显微镜挑战赛中，U-Net的Rand误差为0.0382，远超第二名方法，且在部分指标上甚至优于人工标注结果。
• 在ISBI 2015年细胞追踪挑战赛中，U-Net在PhC-U373数据集上平均交并比（IOU）达到92.03%，远超第二名方法（83%）。
• 在DIC-HeLa数据集上，U-Net的IOU达到77.56%，显著优于第二名方法（46%）。
• 该模型在现代GPU上处理512×512图像的推理时间不足一秒，展现出极高的推理速度。
• 完整的基于Caffe的实现代码与训练好的模型已公开发布，支持在各类生物医学图像任务中广泛复用与适配。