[论文解读] From Patch to Image Segmentation using Fully Convolutional Networks -- Application to Retinal Images

Taibou Birgui Sekou, Moncef Hidane+2 more|arXiv (Cornell University)|Apr 8, 2019

Retinal Imaging and AnalysisMedicine参考文献 39被引用 22

一句话总结

本文提出了一种新颖的训练框架，结合基于图像块的预训练与基于图像的微调，采用全卷积网络（FCNs）在小样本数据集上实现了视网膜图像分割的最先进性能。通过先在图像块上训练网络，再将知识迁移至图像级网络，该方法支持任意网络架构设计，并在仅使用少量数据的情况下实现高性能，已在四个公开的视网膜数据库上通过轻量级、标准和密集连接网络得到验证。

ABSTRACT

Deep learning based models, generally, require a large number of samples for appropriate training, a requirement that is difficult to satisfy in the medical field. This issue can usually be avoided with a proper initialization of the weights. On the task of medical image segmentation in general, two techniques are oftentimes employed to tackle the training of a deep network $f_T$. The first one consists in reusing some weights of a network $f_S$ pre-trained on a large scale database ($e.g.$ ImageNet). This procedure, also known as $transfer$ $learning$, happens to reduce the flexibility when it comes to new network design since $f_T$ is constrained to match some parts of $f_S$. The second commonly used technique consists in working on image patches to benefit from the large number of available patches. This paper brings together these two techniques and propose to train $arbitrarily$ $designed$ $networks$ that segment an image in one forward pass, with a focus on relatively small databases. An experimental work have been carried out on the tasks of retinal blood vessel segmentation and the optic disc one, using four publicly available databases. Furthermore, three types of network are considered, going from a very light weighted network to a densely connected one. The final results show the efficiency of the proposed framework along with state of the art results on all the databases.

研究动机与目标

• 解决在训练深度网络进行视网膜图像分割时，标注医学图像数据有限的挑战。
• 克服标准迁移学习的局限性，后者由于复用ImageNet等预训练模型的权重而对网络设计构成约束。
• 开发一种灵活的训练框架，允许任意网络架构设计，同时在小样本医学数据集上保持高性能。
• 通过在基于图像块的预训练后进行图像级推理，利用上下文信息提升分割精度与鲁棒性。
• 通过训练可在单次前向传播中处理整幅图像的网络，实现实时、端到端的分割。

提出的方法

• 该框架首先使用从视网膜图像中提取的小图像块，采用图像块到图像块的分类方法，对全卷积网络（FCN）进行训练。
• 在图像块上完成预训练后，将网络学习到的特征迁移至一个为全图推理设计的新、更大的FCN架构中。
• 图像级网络通过使用预训练图像块网络的编码器权重进行初始化，实现在无架构限制条件下的有效特征迁移。
• 随后，使用交叉熵损失或Dice损失等标准监督学习方法，对全尺寸图像进行端到端的微调。
• 通过将预训练与最终网络设计解耦，该方法支持从轻量级到密集连接的各种网络架构。
• 训练过程中应用了重采样步骤，以减少内存使用并提高数值稳定性，对性能影响极小。

实验结果

研究问题

• RQ1 基于图像块的预训练策略结合图像级微调，是否能在训练数据有限的情况下实现视网膜图像分割的最先进性能？
• RQ2 所提出的框架是否允许使用任意设计的FCN架构，而无需受限于预训练的ImageNet权重？
• RQ3 与从零开始训练或标准迁移学习相比，该图像块到图像的迁移框架在小样本视网膜图像数据库上的性能表现如何？
• RQ4 与基于图像块的推理相比，该框架在多大程度上保留了上下文信息并减少了分割图中的边界伪影？
• RQ5 该框架是否能有效应用于多种视网膜图像任务，如在多个公开数据集上的血管和视盘分割？

主要发现

• 所提出的框架在四个公开的视网膜图像数据库（DRIVE、STARE、CHASE_DB1 和 IDRiD）上均实现了最先进性能。
• 与基于图像块的聚合方法相比，该方法显著降低了分割推理时间，使用Dense网络在DRIVE数据集上平均仅需0.24秒即可完成图像级推理。
• 冻结迁移后的微调可提升分割质量，定性结果表明假阳性减少，边界预测更准确。
• 即使在为提高内存效率而进行图像重采样的情况下，该框架仍保持高性能，表明对预处理步骤具有鲁棒性。
• 由于图像块学习阶段实现了有效的特征迁移，该方法在低数据场景下显著优于从零开始训练和标准迁移学习。
• 源代码已公开于 https://github.com/Taib/patch2image，支持可复现性与进一步研究。