[论文解读] Deriving Neural Network Architectures using Precision Learning: Parallel-to-fan beam Conversion

Christopher Syben, Bernhard Stimpel+4 more|arXiv (Cornell University)|Jul 9, 2018

Advanced MRI Techniques and Applications参考文献 7被引用 4

一句话总结

本文提出一种基于精度学习的神经网络，用于混合磁共振成像/ X射线成像中的平行束到扇形束转换，以可微分的卷积滤波器学习方法替代计算量大的插值重分布。该方法通过避免分辨率损失，从合成数据中学习与投影相关的和无关的滤波器，仅使用极少的可训练参数，从而实现更清晰的图像。

ABSTRACT

In this paper, we derive a neural network architecture based on an analytical formulation of the parallel-to-fan beam conversion problem following the concept of precision learning. The network allows to learn the unknown operators in this conversion in a data-driven manner avoiding interpolation and potential loss of resolution. Integration of known operators results in a small number of trainable parameters that can be estimated from synthetic data only. The concept is evaluated in the context of Hybrid MRI/X-ray imaging where transformation of the parallel-beam MRI projections to fan-beam X-ray projections is required. The proposed method is compared to a traditional rebinning method. The results demonstrate that the proposed method is superior to ray-by-ray interpolation and is able to deliver sharper images using the same amount of parallel-beam input projections which is crucial for interventional applications. We believe that this approach forms a basis for further work uniting deep learning, signal processing, physics, and traditional pattern recognition.

研究动机与目标

• 解决传统逐射线插值在混合磁共振成像/X射线成像中进行平行束到扇形束重分布时固有的分辨率损失问题。
• 基于解析信号处理模型构建神经网络架构，整合已知的物理算子以减少参数数量。
• 通过学习高效紧凑的滤波器实现高帧率介入式成像，无需额外硬件。
• 探究数据驱动的滤波器学习是否能在保持图像清晰度的同时优于传统重分布方法。
• 为结合深度学习、基于物理的建模与信号处理在医学成像中的应用奠定基础。

提出的方法

• 将平行束到扇形束转换建模为线性系统，将已知算子（如几何投影模型）嵌入网络以减少未知量。
• 采用精度学习范式推导神经网络，仅训练未知滤波器分量，从而实现极少数可学习参数。
• 提出两种滤波器类型：与投影无关和与投影相关，均以频域中的可学习卷积滤波器实现。
• 在合成磁共振投影数据上端到端训练网络，使用均方误差损失最小化重建误差。
• 通过高斯平滑正则化稳定滤波器学习，尤其针对具有高振幅变化的与投影无关滤波器。
• 该方法用频域中的学习型高效卷积滤波器替代计算昂贵的系统矩阵求逆。

实验结果

研究问题

• RQ1 能否从平行束到扇形束转换问题的解析公式中推导出数据驱动的神经网络架构？
• RQ2 在物理信息约束的网络中学习未知算子是否能减少所需训练样本数量并提高重建清晰度？
• RQ3 学习得到的基于卷积的滤波器是否在图像分辨率和清晰度方面优于传统的逐射线插值？
• RQ4 随着输入投影数量的变化，与投影相关和无关滤波器的形状与行为如何变化？
• RQ5 如利普希茨连续性或对称性约束等正则化策略是否能提升滤波器的稳定性和泛化能力？

主要发现

• 所提方法通过消除插值引起的平滑效应，生成比传统重分布更清晰的图像。
• 在使用相同数量的平行束投影时，网络实现了更优的图像质量，这对时间敏感的介入式应用至关重要。
• 在投影数量较少的情况下（如5或7个投影），与投影无关的滤波器表现出显著的高振幅变化，表明其对训练数据中频率覆盖的敏感性。
• 在3和5个投影情况下，与投影相关的滤波器呈现U形轮廓，表明其对低频分量的抑制，可能有助于实现更快的MR扫描。
• 高斯平滑正则化使训练更稳定，结果优于对滤波器权重或导数使用ℓ1或ℓ2范数的正则化方法。
• 结果表明，通过改进滤波器设计，可进一步减少所需k空间采样点的数量，甚至可能实现最优采样轨迹的解析确定。