[论文解读] IPN-V2 and OCTA-500: Methodology and Dataset for Retinal Image Segmentation.

Mingchao Li, Yuhan Zhang+5 more|arXiv (Cornell University)|Dec 14, 2020

Retinal Imaging and Analysis参考文献 54被引用 43

一句话总结

本文提出IPN-V2，一种增强的3D到2D图像投影网络，引入平面感知器以提升OCTA图像中视网膜血管和黄斑无血管区的分割性能，并发布了迄今为止最大的多模态视网膜成像数据集OCTA-500，包含500名受试者、36万张图像以及多样化的标签。IPN-V2在不依赖投影图像或视网膜层分割的情况下，实现了比先前方法更高的分割精度。

ABSTRACT

Optical coherence tomography angiography (OCTA) is a novel imaging modality that allows a micron-level resolution to present the three-dimensional structure of the retinal vascular. In our previous work, a 3D-to-2D image projection network (IPN) was proposed for retinal vessel (RV) and foveal avascular zone (FAZ) segmentations in OCTA images. One of its advantages is that the segmentation results are directly from the original volumes without using any projection images and retinal layer segmentation. In this work, we propose image projection network V2 (IPN-V2), extending IPN by adding a plane perceptron to enhance the perceptron ability in the horizontal direction. We also propose IPN-V2+, as a supplement of the IPN-V2, by introducing a global retraining process to overcome the checkerboard effect. Besides, we propose a new multi-modality dataset, dubbed OCTA-500. It contains 500 subjects with two field of view (FOV) types, including OCT and OCTA volumes, six types of projections, four types of text labels and two types of pixel-level labels. The dataset contains more than 360K images with a size of about 80GB. To the best of our knowledge, it is currently the largest OCTA dataset with the abundant information. Finally, we perform a thorough evaluation of the performance of IPN-V2 on the OCTA-500 dataset. The experimental results demonstrate that our proposed IPN-V2 performs better than IPN and other deep learning methods in RV segmentation and FAZ segmentation.

研究动机与目标

• 提升光学相干断层扫描血管成像（OCTA）图像中视网膜血管和黄斑无血管区（FAZ）分割的性能。
• 通过增强水平感知能力并减少棋盘效应等伪影，解决先前3D到2D投影网络的局限性。
• 构建一个全面的多模态视网膜成像数据集，以支持视网膜分割领域先进深度学习研究。
• 在具有丰富标注和多种成像模态的大规模多样化数据集上评估所提出方法。

提出的方法

• IPN-V2通过集成平面感知器，扩展了原始IPN网络，以增强3D体数据中水平方向的特征学习能力。
• 该方法直接从原始OCTA体数据端到端执行3D到2D的投影，避免使用中间投影图像或单独的视网膜层分割。
• IPN-V2+作为IPN-V2的改进版本，引入全局微调过程，以减轻转置卷积层中常见的棋盘效应伪影。
• 该方法利用多尺度上下文特征和空间注意力机制，提升复杂视网膜血管结构中的分割精度。
• OCTA-500数据集包含500名受试者，涵盖两种视野类型、六种投影类型、四种文本标签，以及OCT和OCTA体数据中的两种像素级标签类型。
• 该数据集总容量达80GB，包含超过36万张图像，是目前公开的规模最大、具备多模态和多层级标注的OCTA数据集。

实验结果

研究问题

• RQ1 通过增强水平感知能力的改进型3D到2D投影网络，能否提升OCTA图像中视网膜血管和FAZ的分割精度？
• RQ2 IPN-V2+中引入的全局微调过程在多大程度上能有效缓解分割结果中的棋盘效应？
• RQ3 在大规模、多模态视网膜成像数据集上，所提出的IPN-V2方法相较于现有深度学习模型的性能优势有多大？
• RQ4 OCTA-500数据集的多样性与规模在多大程度上支持了鲁棒性视网膜分割模型的开发与评估？

主要发现

• 与原始IPN及其他最先进深度学习方法相比，IPN-V2在视网膜血管和黄斑无血管区的分割性能上均表现出更优的性能。
• IPN-V2中引入的平面感知器显著增强了水平平面上的特征表示，从而提升了分割边界的准确性。
• IPN-V2+中的全局微调过程有效减轻了棋盘效应，使分割图更加平滑且精确。
• OCTA-500数据集包含超过36万张图像及丰富的多模态标注，为未来视网膜图像分割研究提供了全面的基准。
• 所提出的方法在无需预分割视网膜层或基于投影的预处理步骤的情况下，展现出强大的泛化能力和鲁棒性。