[论文解读] Cystoid macular edema segmentation of Optical Coherence Tomography images using fully convolutional neural networks and fully connected CRFs

Fangliang Bai, Manuel J. Marques+1 more|arXiv (Cornell University)|Sep 15, 2017

Retinal Imaging and Analysis参考文献 25被引用 11

一句话总结

本文提出了一种结合全卷积神经网络（FCNs）与全连接条件随机场（密集CRFs）的深度学习框架，用于视网膜OCT图像中囊样黄斑水肿（CME）的自动分割。该方法在Dice系数上达到0.61±0.21，优于先前的最先进方法，并在边界贴合度和对图像噪声及变异性的鲁棒性方面表现更优。

ABSTRACT

In this paper we present a new method for cystoid macular edema (CME) segmentation in retinal Optical Coherence Tomography (OCT) images, using a fully convolutional neural network (FCN) and a fully connected conditional random fields (dense CRFs). As a first step, the framework trains the FCN model to extract features from retinal layers in OCT images, which exhibit CME, and then segments CME regions using the trained model. Thereafter, dense CRFs are used to refine the segmentation according to the edema appearance. We have trained and tested the framework with OCT images from 10 patients with diabetic macular edema (DME). Our experimental results show that fluid and concrete macular edema areas were segmented with good adherence to boundaries. A segmentation accuracy of $0.61\pm 0.21$ (Dice coefficient) was achieved, with respect to the ground truth, which compares favourably with the previous state-of-the-art that used a kernel regression based method ($0.51\pm 0.34$). Our approach is versatile and we believe it can be easily adapted to detect other macular defects.

研究动机与目标

• 为解决由于高分辨率3D数据和边界模糊性导致的手动CME分割耗时、费力且不一致的问题。
• 开发一种端到端的自动化深度学习框架，以提高糖尿病性黄斑水肿中CME分割的准确性和边界一致性。
• 将密集CRFs作为后处理步骤集成，以优化FCN预测并增强空间一致性。
• 构建一种可扩展的方法，适用于除CME以外的其他视网膜病变。
• 减少对手动设计规则的依赖，并提升在多种视网膜异常中的泛化能力。

提出的方法

• 使用带有跳跃连接的全卷积神经网络（FCN）进行端到端训练，以实现OCT B-scan图像中CME区域的像素级分类。
• 跳跃连接融合浅层与深层特征，以保留空间分辨率并提高定位准确性。
• 在训练过程中引入Dice损失层，以优化预测分割掩码与真实分割掩码之间的重叠度。
• 采用迁移学习，利用预训练的ImageNet模型缓解数据稀缺问题并提升收敛速度。
• 采用数据增强技术以增加训练多样性并提高泛化能力。
• 在FCN推理后应用全连接CRFs，通过建模高阶依赖关系来优化分割结果，提升边界贴合度。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，全卷积神经网络能否有效学习到OCT图像中囊样黄斑水肿的分割？
• RQ2 与仅使用FCN相比，集成密集CRFs在分割准确性和边界一致性方面有何提升？
• RQ3 所提出的框架在Dice系数和边界贴合度方面是否优于现有的最先进方法？
• RQ4 该方法在除糖尿病性黄斑水肿外的其他视网膜病变中具有多大程度的泛化能力？
• RQ5 FCN与密集CRF的组合在图像噪声和解剖结构变异条件下能否实现稳健性能？

主要发现

• 所提方法在Dice系数上达到0.61±0.21，显著优于先前最先进方法（核回归方法，0.51±0.34）。
• 分割结果表现出更优的边界贴合度，相较于基线方法，过分割和欠分割现象更少。
• 集成密集CRFs提升了病灶边界处的召回率，增强了分割结果的空间一致性。
• 该框架对图像伪影以及人工标注中的专家间差异表现出鲁棒性。
• 该方法能有效处理复杂、形态多变的CME模式，包括视网膜层内不规则的液体分布。
• 该方法具有良好的可扩展性，经进一步训练后可适用于其他视网膜病变，如年龄相关性黄斑变性和视网膜脱离。