[论文解读] Retinal Vessel Segmentation under Extreme Low Annotation: A Generative Adversarial Network Approach

Avisek Lahiri, Vineet Jain+2 more|arXiv (Cornell University)|Sep 5, 2018

Retinal Imaging and Analysis参考文献 7被引用 11

一句话总结

该论文提出了一种基于生成对抗网络（GAN）的新型半监督学习框架，用于视网膜血管分割，该框架利用有限的标注数据（标准标注预算的0.8–1.6%）和大量未标注数据。通过引入基于结构化预测的架构及无监督对抗损失，该方法在DRIVE和STARE数据集上实现了最先进性能，即使仅使用500个标注补丁，也优于完全监督的U-Net模型。

ABSTRACT

Contemporary deep learning based medical image segmentation algorithms require hours of annotation labor by domain experts. These data hungry deep models perform sub-optimally in the presence of limited amount of labeled data. In this paper, we present a data efficient learning framework using the recent concept of Generative Adversarial Networks; this allows a deep neural network to perform significantly better than its fully supervised counterpart in low annotation regime. The proposed method is an extension of our previous work with the addition of a new unsupervised adversarial loss and a structured prediction based architecture. To the best of our knowledge, this work is the first demonstration of an adversarial framework based structured prediction model for medical image segmentation. Though generic, we apply our method for segmentation of blood vessels in retinal fundus images. We experiment with extreme low annotation budget (0.8 - 1.6% of contemporary annotation size). On DRIVE and STARE datasets, the proposed method outperforms our previous method and other fully supervised benchmark models by significant margins especially with very low number of annotated examples. In addition, our systematic ablation studies suggest some key recipes for successfully training GAN based semi-supervised algorithms with an encoder-decoder style network architecture.

研究动机与目标

• 解决在标注数据极度有限的情况下训练深度学习模型进行医学图像分割的挑战。
• 利用大量未标注的视网膜眼底图像，提升低监督环境下的分割性能。
• 将先前基于GAN的半监督学习方法扩展至结构化预测框架，以更好地建模分割中的空间依赖性。
• 为在半监督设置下训练基于GAN的编码器-解码器网络提供实用指导。

提出的方法

• 提出一种新型无监督对抗损失，使生成器能够为未标注图像生成逼真的分割图。
• 采用结构化预测（SP）设置，模型同时预测所有像素的多标签输出，从而提升空间一致性。
• 将标注补丁上的监督损失与真实和生成分割图上的对抗损失相结合，联合训练判别器和生成器。
• 采用带有跳跃连接的U-Net风格编码器-解码器架构，以保留空间分辨率和上下文信息。
• 训练判别器以区分来自标注数据的真实分割图与来自未标注图像生成的虚假分割图。
• 优化生成器，使其同时最小化对抗损失和标注数据上的监督损失，从而实现两类数据的联合学习。

实验结果

研究问题

• RQ1 当仅使用标准标注预算的0.8–1.6%时，基于GAN的半监督框架是否能显著提升视网膜血管分割性能？
• RQ2 将先前的“中心像素”预测替换为结构化预测设置，是否能提升分割质量与泛化能力？
• RQ3 在低标注预算下，标注图像的多样性（即从更多图像中采样 vs. 从更少图像中采样更多补丁）如何影响模型性能？
• RQ4 在基于编码器-解码器架构的GAN-based半监督分割模型中，哪些架构与优化策略对成功训练至关重要？

主要发现

• 在仅使用500个标注补丁的情况下，该方法在DRIVE数据集上达到0.92的AUC，在STARE数据集上达到0.90，优于完全监督的U-Net模型及先前的半监督模型。
• 在1000个标注补丁下，该方法在DRIVE数据集上达到0.94的AUC，在STARE数据集上达到0.92，超过相同低标注预算下完全监督U-Net模型的性能（AUC分别为0.90和0.89）。
• 即使总补丁数更高，从更多图像中采样标注（如15张图像）的模型始终优于从更少图像中采样（如10张图像）的模型。
• 消融实验确认，无监督对抗损失和结构化预测设置对性能提升至关重要，尤其是在数据量极少的情况下。
• 该方法在DRIVE和STARE数据集上均设定了极端低标注预算下视网膜血管分割的新SOTA基准。
• 结果表明，数据多样性——即从更多图像中采样——比单纯的标注数量更为重要，提示医学影像中更高效的标注策略。