[论文解读] Deep Image Reconstruction using Unregistered Measurements without Groundtruth

Weijie Gan, Yu Sun+4 more|arXiv (Cornell University)|Sep 29, 2020

Medical Imaging Techniques and Applications参考文献 16被引用 4

一句话总结

本文提出U-Dream，一种新颖的无监督深度学习方法，可从未经配准、含伪影的MRI测量数据中联合执行图像重建与非刚性配准，且无需真实图像作为监督信号。通过训练双分支CNN架构，同步实现图像重建与运动场估计，U-Dream在加速MRI重建任务中达到最先进性能，在25% undersampling条件下，PSNR相比基线方法最高提升1.3 dB，SSIM提升0.02，即使在存在显著形变的情况下亦表现优异。

ABSTRACT

One of the key limitations in conventional deep learning based image reconstruction is the need for registered pairs of training images containing a set of high-quality groundtruth images. This paper addresses this limitation by proposing a novel unsupervised deep registration-augmented reconstruction method (U-Dream) for training deep neural nets to reconstruct high-quality images by directly mapping pairs of unregistered and artifact-corrupted images. The ability of U-Dream to circumvent the need for accurately registered data makes it widely applicable to many biomedical image reconstruction tasks. We validate it in accelerated magnetic resonance imaging (MRI) by training an image reconstruction model directly on pairs of undersampled measurements from images that have undergone nonrigid deformations.

研究动机与目标

• 为解决监督式深度学习在生物医学成像中的关键局限，即其训练需要大规模、精确配准的真实图像作为监督信号。
• 开发一种方法，使图像重建网络能够直接从未经配准、含伪影的测量数据中进行端到端训练，从而消除对高质量真实图像的需求。
• 仅使用原始测量数据对，以弱监督方式联合优化图像重建与非刚性图像配准。
• 通过减轻伪影并保留细微结构，提升加速MRI中的图像质量，即使在受显著受检者运动引起的形变影响下亦能保持良好表现。

提出的方法

• U-Dream采用双分支CNN架构：一个分支（h_θ）从未经配准的k空间测量数据中重建含伪影的图像，另一个分支（g_φ）估计重建图像对之间的非刚性形变场。
• 通过最小化预测测量与实际测量在k空间域中的差异来训练重建网络，损失函数基于前向测量模型，确保一致性。
• 使用空间变换网络（STN）实现图像扭曲操作，使训练过程中可微分地完成图像配准。
• 两个网络通过同一受试者的未经配准、欠采样的k空间数据对进行联合训练，无需真实图像。
• 训练目标被表述为最小化预测测量与实际测量之间的重建损失，利用Noise2Noise原理实现无监督学习。
• 通过控制形变强度（σ = 10, 18）的向量场生成方法，合成非刚性形变场，模拟MRI扫描中真实的受检者运动。

实验结果

研究问题

• RQ1 能否通过利用未经配准的测量数据对，在无需任何真实图像的情况下有效训练深度图像重建？
• RQ2 在存在运动伪影的情况下，联合优化图像重建与非刚性配准是否能提升图像质量？
• RQ3 当受检者运动导致图像未配准时，U-Dream的性能与监督式及无监督基线方法相比如何？
• RQ4 与忽略或预先校正配准错误的方法相比，U-Dream在恢复细微结构细节和减少模糊方面的能力有多强？

主要发现

• 在25% undersampling且σ=10条件下，U-Dream在测试集上达到PSNR 31.60 dB、SSIM 0.945，显著优于次优方法（SyN+N2N）1.3 dB（PSNR）和0.02（SSIM）。
• 在更强形变（σ=18）条件下，U-Dream仍保持高性能（PSNR: 31.67 dB, SSIM: 0.947），展现出对非刚性运动的强鲁棒性。
• 与Unregistered N2N相比，U-Dream减少了模糊并提升了边缘锐度，尤其在图2中红箭头标注区域，SyN+N2N仍表现出平滑化现象。
• 该方法优于总变差（Total Variation）正则化方法，后者存在“阶梯效应”，难以保留细微结构。
• N2V因性能表现差而未列入结果，因其噪声非一致性假设不适用于零填充MRI中的结构化伪影。
• U-Dream通过联合优化重建与配准，实现了更优的伪影抑制与对比度保持，该结论在视觉与定量分析中均得到验证。