[论文解读] 3D Reconstruction in Canonical Co-ordinate Space from Arbitrarily Oriented 2D Images

Benjamin Hou, Bishesh Khanal+8 more|arXiv (Cornell University)|Sep 19, 2017

Fetal and Pediatric Neurological Disorders参考文献 35被引用 9

一句话总结

该论文提出SVRnet，一种深度学习方法，仅利用强度信息将2D MRI切片回归到标准3D图谱空间，无需初始化。在模拟数据上实现7 mm的平均空间误差，并在胎儿MRI中实现最小人工干预的运动补偿3D重建。

ABSTRACT

Limited capture range, and the requirement to provide high quality initialization for optimization-based 2D/3D image registration methods, can significantly degrade the performance of 3D image reconstruction and motion compensation pipelines. Challenging clinical imaging scenarios, which contain significant subject motion such as fetal in-utero imaging, complicate the 3D image and volume reconstruction process. In this paper we present a learning based image registration method capable of predicting 3D rigid transformations of arbitrarily oriented 2D image slices, with respect to a learned canonical atlas co-ordinate system. Only image slice intensity information is used to perform registration and canonical alignment, no spatial transform initialization is required. To find image transformations we utilize a Convolutional Neural Network (CNN) architecture to learn the regression function capable of mapping 2D image slices to a 3D canonical atlas space. We extensively evaluate the effectiveness of our approach quantitatively on simulated Magnetic Resonance Imaging (MRI), fetal brain imagery with synthetic motion and further demonstrate qualitative results on real fetal MRI data where our method is integrated into a full reconstruction and motion compensation pipeline. Our learning based registration achieves an average spatial prediction error of 7 mm on simulated data and produces qualitatively improved reconstructions for heavily moving fetuses with gestational ages of approximately 20 weeks. Our model provides a general and computationally efficient solution to the 2D/3D registration initialization problem and is suitable for real-time scenarios.

研究动机与目标

• 解决2D/3D图像配准在运动污染扫描中捕获范围差和对初始化敏感的问题，特别是在胎儿MRI中的应用。
• 通过学习从2D切片到标准3D空间的直接回归，消除对手动标志点匹配或粗略初始化的需求。
• 实现从高度运动退化的2D采集数据中鲁棒重建3D体积，例如宫内胎儿成像。
• 提供计算高效、实时的切片到体积配准解决方案，并通过贝叶斯深度学习实现不确定性量化。
• 通过直接从图像强度预测刚性变换，实现运动补偿流程的完全自动化。

提出的方法

• 训练一个3D卷积神经网络（CNN），以预测2D MRI切片相对于标准图谱坐标系的3D刚性变换（旋转和位移）。
• 采用欧拉角参数化进行变换回归，相比离散分类，可实现更高效的训练并减少类别不平衡。
• 使用欧氏距离作为主要损失函数，对从合成运动模拟中提取的锚点标签进行回归。
• 利用李群几何（SE(3)）计算预测与真实变换之间的测地线距离，实现准确的不确定性估计。
• 应用蒙特卡洛Dropout和贝叶斯推断，量化刚性变换预测的不确定性，提升下游任务的鲁棒性。
• 在多种网络架构（VGGNet、GoogLeNet）上评估模型性能，结果显示GoogLeNet在保持与VGGNet相当精度的同时，训练速度提升50%，内存消耗降低85%。

实验结果

研究问题

• RQ1 深度学习模型能否在无任何空间初始化的情况下，预测任意方向的2D MRI切片相对于标准图谱的3D刚性变换？
• RQ2 变换参数化方式的选择（如欧拉角与离散类别）如何影响回归精度和训练稳定性？
• RQ3 该模型在高度运动退化的数据（如存在大运动伪影的胎儿MRI）上具有多大程度的泛化能力？
• RQ4 模型的不确定性估计是否能提升下游重建流程的鲁棒性，特别是在处理错位或异常切片时？
• RQ5 与基于优化的传统切片到体积配准方法相比，该模型在精度和计算效率方面表现如何？

主要发现

• SVRnet在具有合成运动的模拟MRI数据上实现了7 mm的平均空间预测误差，表明其对复杂运动模式具有强大的泛化能力。
• 即使在严重运动污染的情况下，该模型也能显著提升20周左右妊娠年龄的真实胎儿MRI扫描的3D重建质量。
• GoogLeNet在保持与VGGNet相近的回归精度的同时，训练时间减少50%，内存消耗降低85%，更适合迭代实验。
• 在SE(3)李群上使用测地线距离，相比欧氏度量，能更准确地评估变换预测误差。
• 结合蒙特卡洛Dropout的贝叶斯推断可实现变换预测的不确定性量化，支持重建流程中对异常值的鲁棒剔除。
• 该方法减少了对手动预处理和初始化的依赖，实现了在胎儿宫内成像等复杂临床场景中运动补偿3D重建的完全自动化。