[论文解读] HAMLET: Hierarchical Harmonic Filters for Learning Tracts from Diffusion MRI

Marco Reisert, Volker A. Coenen+3 more|arXiv (Cornell University)|Jul 3, 2018

Advanced Neuroimaging Techniques and Applications被引用 12

一句话总结

HAMLET 是一种深度学习框架，利用旋转协变的球面张量滤波器，直接从扩散磁共振成像（dMRI）数据预测纤维束的方向和存在性，无需数据增强即可实现鲁棒、可泛化且可移植的纤维束分割。它利用分层多尺度卷积和球面张量代数，学习内在的时空方向模式，从而在不同成像协议下实现精确、自动的纤维束追踪。

ABSTRACT

In this work we propose HAMLET, a novel tract learning algorithm, which, after training, maps raw diffusion weighted MRI directly onto an image which simultaneously indicates tract direction and tract presence. The automatic learning of fiber tracts based on diffusion MRI data is a rather new idea, which tries to overcome limitations of atlas-based techniques. HAMLET takes a such an approach. Unlike the current trend in machine learning, HAMLET has only a small number of free parameters HAMLET is based on spherical tensor algebra which allows a translation and rotation covariant treatment of the problem. HAMLET is based on a repeated application of convolutions and non-linearities, which all respect the rotation covariance. The intrinsic treatment of such basic image transformations in HAMLET allows the training and generalization of the algorithm without any additional data augmentation. We demonstrate the performance of our approach for twelve prominent bundles, and show that the obtained tract estimates are robust and reliable. It is also shown that the learned models are portable from one sequence to another.

研究动机与目标

• 开发一种深度学习方法，直接将原始扩散磁共振成像映射为方向性纤维束显著性图，跳过传统追踪或图谱配准步骤。
• 克服基于图谱和基于模型的纤维束追踪的局限性，例如假阳性结果以及对低分辨率或噪声数据的敏感性。
• 通过球面张量代数将旋转协变性直接嵌入网络架构中，确保对旋转和位移的不变性。
• 在无需微调或大量数据增强的情况下，实现跨不同扩散磁共振成像协议的泛化能力。
• 为临床和研究环境中的纤维束标注与可视化提供完全自动化的端到端处理流程。

提出的方法

• HAMLET 使用分层多尺度卷积，采用二阶球面张量场（无迹对称 3×3 矩阵）表示纤维束的存在与方向。
• 滤波器通过球面张量代数构建，确保内在的旋转与平移协变性，使网络在不依赖数据增强的情况下学习空间-方向关系。
• 网络架构通过重复应用满足旋转协变性的卷积与非线性变换，使模型在无需显式数据增强的情况下实现泛化。
• 网络通过带 Tikhonov 正则化的线性最小二乘目标函数进行训练，最小化多尺度下预测与真实纤维束图之间的误差。
• 特征图通过在多尺度下对扩散数据进行球面谐函数投影计算，并进行归一化以处理高动态范围差异。
• 最终输出为张量场，其幅值表示纤维束的可能性，方向表示局部纤维束方向，适用于后续的流线追踪。

实验结果

研究问题

• RQ1 深度学习模型能否在对旋转和位移保持不变的前提下，直接从原始扩散磁共振成像数据中学习预测纤维束的存在与方向？
• RQ2 旋转协变滤波器在无需微调或数据增强的情况下，能否在不同扩散磁共振成像协议间实现良好泛化？
• RQ3 分层多尺度处理是否能提升纤维束定位精度与纤维束几何结构的细粒度表征？
• RQ4 在临床相关的低分辨率 dMRI 数据上，HAMLET 在鲁棒性与可靠性方面相较于现有方法的提升程度如何？
• RQ5 所学习的模型能否在不同扫描仪和协议之间实现迁移，同时保持高性能？

主要发现

• HAMLET 对十二个主要白质纤维束（包括扣带、弓状纤维束和皮质脊髓束）实现了鲁棒且可靠的纤维束估计。
• 该模型在不同扩散磁共振成像协议之间表现出有效的泛化能力，包括未显式训练过的协议，展现出强大的可移植性。
• 使用旋转协变滤波器消除了对数据增强的需求，显著降低训练复杂度并提升泛化性能。
• 该方法生成高质量、可直观解释的张量场，支持精确的流线追踪与纤维束体积测量。
• 分层多尺度设计有效整合了全局上下文与局部细节，提升了纤维束定位与方向估计的准确性。
• 带正则化的线性训练过程实现了稳定的收敛与高效的推理，即使在大型 3D 体积上亦表现良好。