[论文解读] Location Sensitive Deep Convolutional Neural Networks for Segmentation of White Matter Hyperintensities

Mohsen Ghafoorian, Nico Karssemeijer+8 more|arXiv (Cornell University)|Oct 16, 2016

Medical Image Segmentation Techniques参考文献 19被引用 26

一句话总结

本文提出了一种位置敏感的深度卷积神经网络（CNN），通过在特征学习过程中显式整合解剖学空间信息，实现脑部MRI中白质高信号（WMH）的自动分割。通过将空间坐标引入首个全连接层，该模型在46例扫描的测试集上取得了0.791的Dice分数——与独立的人类观察者无统计学差异（p=0.17），表明其在WMH分割中已达到接近人类水平的性能。

ABSTRACT

The anatomical location of imaging features is of crucial importance for accurate diagnosis in many medical tasks. Convolutional neural networks (CNN) have had huge successes in computer vision, but they lack the natural ability to incorporate the anatomical location in their decision making process, hindering success in some medical image analysis tasks. In this paper, to integrate the anatomical location information into the network, we propose several deep CNN architectures that consider multi-scale patches or take explicit location features while training. We apply and compare the proposed architectures for segmentation of white matter hyperintensities in brain MR images on a large dataset. As a result, we observe that the CNNs that incorporate location information substantially outperform a conventional segmentation method with hand-crafted features as well as CNNs that do not integrate location information. On a test set of 46 scans, the best configuration of our networks obtained a Dice score of 0.791, compared to 0.797 for an independent human observer. Performance levels of the machine and the independent human observer were not statistically significantly different (p-value=0.17).

研究动机与目标

• 通过在深度学习模型中整合解剖学位置信息，提升脑部MRI中白质高信号（WMH）自动分割的性能。
• 解决标准CNN在捕捉神经影像中准确检测WMH所必需的空间上下文方面的局限性。
• 评估显式位置特征是否能在性能上超越传统手工设计特征或标准CNN。
• 在深度学习框架中比较不同架构与空间特征集成策略的性能。
• 利用包含500多名患者的大型数据集，实现与人类专家相当的WMH分割性能。

提出的方法

• 提出多种深度CNN架构，处理来自T1和FLAIR MRI序列的多尺度2D图像块。
• 在首个全连接层中引入显式的空间位置特征（x, y坐标），以引导空间推理。
• 采用基于图像块的训练方式，以局部图像块作为输入，预测体素级的WMH标签。
• 评估不同位置特征集成点（首个与第二个全连接层）的性能，发现首个全连接层为最优选择。
• 采用两阶段训练策略，但更倾向于端到端的联合学习方式，以同时学习外观特征与空间特征。
• 使用包含500多名患者的大型数据集进行训练、验证与测试，最终测试集包含46例扫描。

实验结果

研究问题

• RQ1 显式整合解剖学位置信息是否能提升深度学习方法在WMH分割中的性能，超越标准CNN？
• RQ2 在网络架构中，何处是集成空间坐标的最有效位置，以实现最佳性能？
• RQ3 集成位置特征是否能使分割性能接近人类专家的水平？
• RQ4 与使用手工设计特征的传统方法相比，位置敏感CNN的性能如何？
• RQ5 使用2D图像块是否足够，还是使用连续层面的3D图像块能带来性能提升？

主要发现

• 所提出的敏感位置CNN在测试集上取得了0.791的Dice分数，优于传统手工设计特征方法。
• 表现最佳模型的性能与独立人类观察者无统计学差异（p=0.17），表明其已达到接近人类水平的准确性。
• 将空间位置特征集成到首个全连接层可获得最高性能，而若在后续层集成，位置特征易被高维表示所掩盖。
• 该模型检测到了人类观察者遗漏的小型WMH，表明其在临床检测中具有提升敏感性的潜力。
• 先训练表示网络，再训练集成位置特征的分类器的两阶段方法，效果不如端到端的联合学习。
• 使用2D图像块在计算上高效且已足够充分，但对各向同性或薄层MRI数据，3D图像块可能更具优势。