[论文解读] 4D Deep Learning for Multiple Sclerosis Lesion Activity Segmentation

Nils Gessert, Marcel Bengs+6 more|arXiv (Cornell University)|Apr 20, 2020

Multiple Sclerosis Research Studies参考文献 8被引用 8

一句话总结

本文提出一种基于多编码器-解码器架构与卷积门控循环单元（convGRUs）的4D深度学习框架，通过引入基线和随访扫描之外的时间历史信息，提升多发性硬化症病灶活动分割性能。该方法优于先前的模型，在假阳性率为0.19时达到0.84的病灶级真正例率，表明扩展的时间上下文可提高检测准确性。

ABSTRACT

Multiple sclerosis lesion activity segmentation is the task of detecting new and enlarging lesions that appeared between a baseline and a follow-up brain MRI scan. While deep learning methods for single-scan lesion segmentation are common, deep learning approaches for lesion activity have only been proposed recently. Here, a two-path architecture processes two 3D MRI volumes from two time points. In this work, we investigate whether extending this problem to full 4D deep learning using a history of MRI volumes and thus an extended baseline can improve performance. For this purpose, we design a recurrent multi-encoder-decoder architecture for processing 4D data. We find that adding more temporal information is beneficial and our proposed architecture outperforms previous approaches with a lesion-wise true positive rate of 0.84 at a lesion-wise false positive rate of 0.19.

研究动机与目标

• 通过利用超过两个时间点的基线和随访扫描的时间MRI历史，提升多发性硬化症病灶活动分割性能。
• 探究在基线中引入历史扫描是否能提升检测性能。
• 设计一种高效的深度学习架构，用于处理具有时间点间共享参数的4D时空MRI数据。
• 对比基于convGRUs的循环时间聚合与解码器中标准特征拼接方法的性能差异。

提出的方法

• 模型采用基于ResNet的3D卷积神经网络，结合多编码器-解码器结构，通过在时间路径间共享权重，并行处理T个时间点的数据。
• 在编码器与解码器之间使用卷积门控循环单元（convGRUs）进行时间聚合，以建模时空依赖性。
• 网络中的长距离跳跃连接也采用相同的基于convGRU的循环机制，实现时间特征融合。
• 该架构支持任意数量的时间点，且不会增加模型参数，从而可扩展至更长的时间序列。
• 由于训练时批量大小仅为1，因此应用实例归一化。
• 推理阶段采用重叠裁剪区域进行全病灶活动图重建，重叠区域的输出取平均值。

实验结果

研究问题

• RQ1 在基线和随访扫描之外引入历史MRI扫描是否能提升病灶活动分割性能？
• RQ2 基于convGRUs的循环时间聚合是否比简单的特征拼接方法在4D病灶活动预测中更有效？
• RQ3 共享权重的多路径编码器-解码器架构是否能适应不同数量的时间点？
• RQ4 时间上下文的引入如何影响病灶检测中真正例率与假阳性率之间的权衡？
• RQ5 所提出的架构是否能以极少的参数增长扩展至更长的时间序列？

主要发现

• 所提出的Enc-convGRU-Dec模型在T=3个时间点时，达到0.84的病灶级真正例率，优于所有先前方法。
• 在病灶级假阳性率为0.19时，模型Dice分数达到0.64，显著优于此前的最先进水平。
• 即使仅使用T=2个扫描，基于convGRUs的时间聚合也优于特征拼接方法。
• 在基于convGRU的架构中，增加历史扫描（T=3）相比T=2能提升性能，表明扩展时间上下文具有优势。
• 由于参数共享，模型在不同时间点数量下均保持一致性能，支持扩展至更长序列。
• 该架构表现出鲁棒性与泛化能力，重叠推理裁剪区域可生成可靠的全体积病灶活动图。