[论文解读] PCA-aided Fully Convolutional Networks for Semantic Segmentation of Multi-channel fMRI

Lei Tai, Ye, Haoyang+2 more|arXiv (Cornell University)|Oct 6, 2016

Brain Tumor Detection and Classification参考文献 15被引用 4

一句话总结

该论文提出一种基于PCA的全卷积网络（FCN），用于多通道fMRI的像素级语义分割，先将31通道数据降维至三个主成分，再输入微调后的FCN。该方法实现近实时推理（每幅扫描90毫秒），并优于传统方法（如k-NN），尤其得益于一种新颖的“忽略边界”标注策略，显著提升了模糊组织边界处的分割精度。

ABSTRACT

Semantic segmentation of functional magnetic resonance imaging (fMRI) makes great sense for pathology diagnosis and decision system of medical robots. The multi-channel fMRI provides more information of the pathological features. But the increased amount of data causes complexity in feature detections. This paper proposes a principal component analysis (PCA)-aided fully convolutional network to particularly deal with multi-channel fMRI. We transfer the learned weights of contemporary classification networks to the segmentation task by fine-tuning. The results of the convolutional network are compared with various methods e.g. k-NN. A new labeling strategy is proposed to solve the semantic segmentation problem with unclear boundaries. Even with a small-sized training dataset, the test results demonstrate that our model outperforms other pathological feature detection methods. Besides, its forward inference only takes 90 milliseconds for a single set of fMRI data. To our knowledge, this is the first time to realize pixel-wise labeling of multi-channel magnetic resonance image using FCN.

研究动机与目标

• 解决高维、复杂多通道fMRI数据中语义分割的挑战。
• 克服fMRI分割中训练数据量小和组织边界不清晰的局限。
• 为临床应用（如病理诊断）实现端到端、近实时的像素级分类。
• 通过降低标注复杂度，提升主要组织（尤其是骨骼和脑脊液）的分割精度。
• 展示迁移学习与主成分分析（PCA）在医学图像分割任务中的有效性。

提出的方法

• 应用主成分分析（PCA）将31通道fMRI数据降维至三个主成分，保留关键病理特征的同时降低维度。
• 利用小规模标注fMRI数据集，通过迁移学习对预训练全卷积网络（FCN）进行微调，以适应分类权重的分割任务。
• 提出一种新颖的“忽略边界”标注策略，将组织间交界区域从训练中排除，从而降低标注的模糊性和复杂度。
• 采用标准语义分割指标进行评估：平均交并比（mIoU）、频率加权IoU（fwIoU）、像素准确率和平均准确率。
• 实施端到端训练，采用反向传播与梯度下降优化，以主组织类别上的分割损失为目标。
• 实现近实时推理，每幅扫描仅需90毫秒，相比传统逐像素遍历方法（每幅1.4秒）提速15倍。

实验结果

研究问题

• RQ1 PCA能否在保留与组织分割相关特征的前提下，有效降低多通道fMRI数据的维度？
• RQ2 从预训练分类网络迁移学习是否能提升小规模fMRI数据集上的语义分割性能？
• RQ3 一种忽略模糊交界区域的改进标注策略，能否提升分割精度与收敛速度？
• RQ4 与传统方法（如k-NN）相比，所提出的结合PCA与迁移学习的FCN在mIoU与推理速度方面表现如何？
• RQ5 最优训练时长为何？与基于边界的标注策略相比，“忽略边界”策略是否带来更快收敛？

主要发现

• 所提出的PCA-辅助FCN在30,000次训练迭代后，采用Fully-BP策略，mIoU达到81.7%，fwIoU达到75.1%，显著优于k-NN（mIoU：44.5%）。
• “忽略边界”标注策略在约10,000次迭代时表现最佳，五种主要组织的mIoU为84.0%，fwIoU为87.1%。
• 模型实现近实时推理，每幅扫描仅需90毫秒，相比传统方法（每幅1.4秒）提速15倍。
• “忽略边界”策略提升了除背景外所有主要组织的精确率，但因过度预测组织区域，轻微增加了假阳性。
• 混淆矩阵显示，骨骼组织因边界不清晰，是最具挑战性的分类类别，尤其在Fully-BP策略下误分类率较高。
• 在15,000次迭代后，分割结果已接近真实标签，30,000次迭代后进一步提升有限。