[论文解读] DELIMIT PyTorch - An extension for Deep Learning in Diffusion Imaging

Simon Koppers, Dorit Merhof|arXiv (Cornell University)|Aug 4, 2018

Advanced Neuroimaging Techniques and Applications参考文献 2被引用 5

一句话总结

DELIMIT PyTorch 通过引入针对扩散磁共振成像（dMRI）的专用深度学习层，实现了高效的球谐（SH）变换和局部球面卷积，以处理非均匀梯度方向并保留邻域信息。该框架加速了基于SH的处理流程，并支持多壳层信号学习，显著提升了扩散成像中深度学习的效率与准确性。

ABSTRACT

DELIMIT is a framework extension for deep learning in diffusion imaging, which extends the basic framework PyTorch towards spherical signals. Based on several novel layers, deep learning can be applied to spherical diffusion imaging data in a very convenient way. First, two spherical harmonic interpolation layers are added to the extension, which allow to transform the signal from spherical surface space into the spherical harmonic space, and vice versa. In addition, a local spherical convolution layer is introduced that adds the possibility to include gradient neighborhood information within the network. Furthermore, these extensions can also be utilized for the preprocessing of diffusion signals.

研究动机与目标

• 解决扩散磁共振成像中非均匀梯度方向和 b 值带来的深度学习应用挑战。
• 实现在球面表面空间与球谐（SH）空间之间高效转换，以实现一致的信号表示。
• 引入一种局部球面卷积层，以整合梯度邻域信息，并支持多壳层信号处理。
• 通过 GPU 加速、可重用的层，同时支持深度学习训练与扩散信号预处理。
• 提供一个开源的、基于 PyTorch 的扩展，以简化扩散成像中的深度学习工作流程。

提出的方法

• 引入 Signal2SH 和 SH2Signal 层，用于在球面表面空间与球谐（SH）空间之间转换扩散信号，采用拉普拉斯-贝尔特里米（Laplace-Beltrami）正则化以保证稳定性。
• 采用使用循环核的局部球面卷积（LSC）层，在球面上操作，以保留方向邻域关系。
• 通过在核中增加通道维度，将 LSC 扩展至多壳层信号，实现对每个 b 值的独立处理及多 b 值预测。
• 在实现中使用互相关（cross-correlation）而非卷积，以提高计算效率，同时在反向传播中保持等效的学习效果。
• 对所有层进行 GPU 执行优化，确保在大规模扩散数据集上训练与推理时实现实时性能。
• 支持使用 b=0 测量值进行归一化，并可无缝集成至现有的 PyTorch 神经网络架构中。

实验结果

研究问题

• RQ1 如何在深度学习框架中高效且准确地集成球谐变换，以应用于扩散磁共振成像？
• RQ2 通过在扩散信号中引入方向邻域信息，局部球面卷积能否提升深度学习性能？
• RQ3 所提出的框架如何在统一的学习框架中处理具有不同 b 值的多壳层扩散数据？
• RQ4 与标准深度学习方法相比，DELIMIT 扩展在处理速度和模型准确性方面提升了多少？
• RQ5 该框架能否有效用于扩散磁共振成像数据的深度学习训练与预处理？

主要发现

• Signal2SH 和 SH2Signal 层在高阶 SH 和大体素数量下均表现出高计算效率，可在 GPU 上实现实时处理。
• 局部球面卷积层成功保留了方向结构，并能学习局部信号模式，如通过移动平均滤波器在扩散信号上产生的模糊输出所证实。
• 通过在核中增加每个 b 值的通道维度，框架支持多壳层信号处理，实现了多壳层数据的联合建模。
• 使用互相关而非卷积的实现方式降低了计算成本，同时在反向传播中保持了等效的训练行为。
• 该工具箱显著加速了基于 SH 的处理流程，并通过允许在球面表面空间中重建信号，支持了新型损失函数的设计。
• 该框架适用于深度学习训练与独立预处理，为扩散磁共振成像信号操作提供了一体化解决方案。