[论文解读] MR to X-Ray Projection Image Synthesis

Bernhard Stimpel, Christopher Syben+4 more|arXiv (Cornell University)|Oct 20, 2017

Advanced Image Processing Techniques参考文献 13被引用 5

一句话总结

本文提出一种基于深度学习的方法，利用三种生成器架构（U-Net、ResNet、级联优化网络）和两种损失函数（ℓ₁ 和感知损失），从磁共振（MR）投影图像合成X射线投影图像。感知损失在保留高频细节方面优于ℓ₁损失，其中级联优化网络与感知损失结合实现了最佳的定性和定量结果，支持高分辨率 fluoroscopic 图像增强和多模态融合。

ABSTRACT

Hybrid imaging promises large potential in medical imaging applications. To fully utilize the possibilities of corresponding information from different modalities, the information must be transferable between the domains. In radiation therapy planning, existing methods make use of reconstructed 3D magnetic resonance imaging data to synthesize corresponding X-ray attenuation maps. In contrast, for fluoroscopic procedures only line integral data, i.e., 2D projection images, are present. The question arises which approaches could potentially be used for this MR to X-ray projection image-to-image translation. We examine three network architectures and two loss-functions regarding their suitability as generator networks for this task. All generators proved to yield suitable results for this task. A cascaded refinement network paired with a perceptual-loss function achieved the best qualitative results in our evaluation. The perceptual-loss showed to be able to preserve most of the high-frequency details in the projection images and, thus, is recommended for the underlying task and similar problems.

研究动机与目标

• 为荧光透视介入手术中的跨模态图像转换提供从MR投影图像到X射线投影图像的解决方案。
• 评估不同深度学习生成器架构和损失函数在从MR投影图像合成X射线投影图像中的适用性。
• 确定感知损失是否在医学图像到图像转换任务中比传统ℓ₁损失更好地保留细微解剖结构细节。
• 评估合成X射线投影图像在后续应用（如低剂量荧光透视中的去噪和超分辨率）中的可行性。

提出的方法

• 训练了三种生成器网络——U-Net、ResNet 和级联优化网络（CRN），以将输入的MR投影图像映射为对应的X射线投影图像。
• 模型使用来自相同解剖视角和患者体位的配对MR与X射线投影数据进行训练。
• 评估了两种损失函数：用于像素级重建的ℓ₁损失，以及基于预训练VGG网络特征激活的感知损失，以提升感知质量。
• U-Net和ResNet中使用跳跃连接，以在下采样和上采样过程中保留空间信息。
• CRN采用前馈架构并结合多尺度优化，避免对抗性训练，从而实现稳定推理。
• 评估使用标准指标：均方误差（MSE）、峰值信噪比（PSNR）、结构相似性（SSIM）和ℓ₁误差。

实验结果

研究问题

• RQ1 深度神经网络能否在荧光透视背景下有效合成X射线投影图像？
• RQ2 不同生成器架构（U-Net、ResNet、CRN）在MR到X射线投影图像合成中的性能如何比较？
• RQ3 与ℓ₁损失相比，感知损失是否能更好地保留高频解剖细节？
• RQ4 合成的X射线投影图像能否支持后续应用，如低剂量荧光透视中的去噪或超分辨率？

主要发现

• 感知损失函数在保留颅骨周围细线等高频细节方面显著优于ℓ₁损失，后者使这些特征变得模糊。
• 级联优化网络（CRN）与感知损失结合实现了最佳整体性能，MSE为0.013，优于ℓ₁损失在此指标上的表现。
• ResNet配合ℓ₁损失实现了最低的像素级误差（偏差0.058，2.4%）和最高的PSNR，但生成图像比感知损失更模糊。
• 尽管未针对像素级误差进行训练，感知损失在CRN的所有误差指标上均取得竞争性或更优结果，表明其在保持结构保真度方面的有效性。
• U-Net和ResNet在ℓ₁损失下表现良好，但当使用感知损失时，CRN表现优于二者，凸显损失函数选择的重要性。
• 结果表明，感知损失在需要高空间分辨率的荧光透视应用中尤为有效，因其能增强图像锐度并保留细节。