[论文解读] Conditional Random Fields as Recurrent Neural Networks for 3D Medical Imaging Segmentation

Miguel Monteiro, Mário A. T. Figueiredo+1 more|arXiv (Cornell University)|Jul 19, 2018

Advanced Neural Network Applications参考文献 4被引用 16

一句话总结

本文评估了条件随机场作为循环神经网络（CRF-RNN）在3D多模态医学图像分割中的应用，实现了适用于任意维度和通道数的该方法。尽管在2D RGB图像上验证了实现的正确性，但该方法在两个3D医学数据集上相较于基线全连接神经网络（FCNN）未表现出统计上显著的性能提升，原因在于医学影像中对比度低、边缘模糊以及对参数高度敏感。

ABSTRACT

The Conditional Random Field as a Recurrent Neural Network layer is a recently proposed algorithm meant to be placed on top of an existing Fully-Convolutional Neural Network to improve the quality of semantic segmentation. In this paper, we test whether this algorithm, which was shown to improve semantic segmentation for 2D RGB images, is able to improve segmentation quality for 3D multi-modal medical images. We developed an implementation of the algorithm which works for any number of spatial dimensions, input/output image channels, and reference image channels. As far as we know this is the first publicly available implementation of this sort. We tested the algorithm with two distinct 3D medical imaging datasets, we concluded that the performance differences observed were not statistically significant. Finally, in the discussion section of the paper, we go into the reasons as to why this technique transfers poorly from natural images to medical images.

研究动机与目标

• 评估CRF-RNN在2D自然图像分割中表现良好，是否能提升3D医学图像分割性能。
• 开发并发布首个公开可用的、适用于任意空间维度和图像通道数的通用CRF-RNN实现。
• 探究为何CRF-RNN从2D RGB图像向3D多模态医学图像迁移效果不佳。
• 评估CRF-RNN在两个不同3D医学影像数据集上的表现：PROMISE 2012（前列腺MRI）和BraTS 2015（脑肿瘤MRI）。

提出的方法

• 将原本专为2D图像设计的CRF-RNN框架改造为可微分、端到端可训练的RNN层，以适配3D医学图像。
• 使用基于空间和强度的特征实现全连接CRF，包括外观核与平滑核，引入一元和成对势能。
• 采用基于V-Net的FCNN作为主干网络，CRF-RNN作为后处理优化层应用。
• 端到端训练整个系统，通过将平均场近似重新表述为RNN，实现反向传播通过CRF-RNN层。
• 使用结合空间位置和图像强度的特征向量，通过高斯核应用CRF-RNN层，包含可学习的权重和超参数。
• 在2D RGB图像上验证实现，以确认功能正确性，再在3D医学数据上进行测试。

实验结果

研究问题

• RQ1 与基线FCNN相比，CRF-RNN层是否能提升3D多模态医学图像的分割准确率？
• RQ2 CRF-RNN框架能否有效推广至具有任意空间维度和输入/输出通道数的3D医学影像？
• RQ3 为何在2D自然图像中表现良好的CRF-RNN，在3D医学图像中未能提升性能？
• RQ4 在低对比度、边缘模糊的医学影像环境中，CRF-RNN性能对超参数的敏感性如何？
• RQ5 在3D医学图像中，CRF-RNN层在多大程度上能从噪声或粗粒度的FCNN输出中恢复？

主要发现

• 在PROMISE 2012数据集中，CRF-RNN层未在Dice分数上带来统计上显著的提升，整体肿瘤Dice分数为0.735 ± 0.105（无CRF）和0.738 ± 0.105（有CRF）。
• 在BraTS 2015 HGG数据集中，核心肿瘤Dice分数为0.488 ± 0.244（无CRF）和0.482 ± 0.257（有CRF），未见显著改善。
• 配对t检验确认，CRF-RNN与基线FCNN在两个数据集上的性能差异均无统计显著性。
• 在过拟合实验中，CRF-RNN层成功减少了3D医学图像中的噪声，表明其功能实现正确。
• 与2D RGB图像相比，CRF-RNN在3D医学图像中对视觉特征的过拟合能力较弱，表明在低对比度环境下存在固有局限性。
• 作者将性能迁移失败归因于3D医学影像中对比度低、边缘模糊以及对超参数高度敏感，其中解剖边界不清晰。