[论文解读] Deep image prior for 3D magnetic particle imaging: A quantitative comparison of regularization techniques on Open MPI dataset

Sören Dittmer, Tobias Kluth+2 more|arXiv (Cornell University)|Jul 3, 2020

Characterization and Applications of Magnetic Nanoparticles参考文献 47被引用 4

一句话总结

本文提出一种用于磁性粒子成像（MPI）重建的3D深度图像先验（DIP）方法，利用未训练的神经网络隐式编码图像先验，无需依赖训练数据。在Open MPI数据集上，DIP方法优于变分法与迭代正则化技术，对形状幻象的峰值信噪比（PSNR）达到最高值32.92，结构相似性（SSIM）为0.951；对分辨率幻象的PSNR与SSIM同样达到32.92与0.951，表明其在早期停止策略下图像质量更优，且对噪声结构具有鲁棒性。

ABSTRACT

Magnetic particle imaging (MPI) is an imaging modality exploiting the nonlinear magnetization behavior of (super-)paramagnetic nanoparticles to obtain a space- and often also time-dependent concentration of a tracer consisting of these nanoparticles. MPI has a continuously increasing number of potential medical applications. One prerequisite for successful performance in these applications is a proper solution to the image reconstruction problem. More classical methods from inverse problems theory, as well as novel approaches from the field of machine learning, have the potential to deliver high-quality reconstructions in MPI. We investigate a novel reconstruction approach based on a deep image prior, which builds on representing the solution by a deep neural network. Novel approaches, as well as variational and iterative regularization techniques, are compared quantitatively in terms of peak signal-to-noise ratios and structural similarity indices on the publicly available Open MPI dataset.

研究动机与目标

• 开发一种新型3D深度图像先验（DIP）方法，用于磁性粒子成像（MPI）中的图像重建，且无需依赖标注训练数据。
• 在公开的Open MPI数据集上，对DIP方法与经典变分法及迭代正则化技术进行定量比较。
• 评估不同数据保真项（ℓ1与ℓ2）及正则化策略对MPI重建质量的影响。
• 研究早期停止与网络结构对基于DIP的MPI重建图像质量的影响。
• 评估ℓ1数据保真项在MPI中的适用性，尤其考虑到MPI测量中固有的噪声结构与非高斯特性。

提出的方法

• DIP方法将图像重建表示为具有随机权重的前馈神经网络，通过最小化数据保真度来训练，同时利用网络结构隐式施加图像先验。
• 该方法采用类似U-Net的3D架构并引入跳跃连接，以从欠采样或含噪测量中重建体素级MPI数据。
• 优化过程采用随机梯度下降，并结合早期停止策略，以防止过拟合并提升泛化能力。
• 数据保真项被表述为测量信号与网络输出经前向模型处理后之间的ℓ1或ℓ2范数。
• 正则化通过网络结构隐式编码，避免使用如总变差或Tikhonov正则化等显式惩罚项。
• 该方法与Kaczmarz型迭代方法（KACZ）及不同惩罚项（ℓ1、ℓ2、TV）的变分方法（VAR）在Open MPI数据集的两个幻象上进行了对比。

实验结果

研究问题

• RQ1 在无需训练数据的前提下，深度图像先验（DIP）是否能在3D MPI重建中超越经典正则化技术？
• RQ2 在DIP与变分方法中，数据保真项选择（ℓ1与ℓ2）如何影响重建质量？
• RQ3 早期停止对DIP性能有何影响？其与迭代方法在有限迭代次数下的表现相比如何？
• RQ4 在KACZ方法中，ℓ2与ℓ1惩罚项的组合是否能提升重建性能，优于标准的ℓ2-only方法？
• RQ5 由于测量中存在非高斯噪声结构，ℓ1数据保真项是否比ℓ2更适用于MPI？

主要发现

• DIP方法在分辨率幻象上达到最高PSNR（32.92）与SSIM（0.951），在形状幻象上同样达到32.92 PSNR与0.951 SSIM，优于所有其他方法在所有信噪比（SNR）阈值下的表现。
• DIP方法在早期停止策略下表现更优，表明有限训练步数可通过防止过拟合提升重建质量。
• 采用ℓ2与ℓ1惩罚组合的KACZ方法（Dℓ2 + P(ℓ1+ℓ2)）在分辨率幻象上取得第二高PSNR（31.82）与SSIM（0.949），优于标准ℓ2-only KACZ方法。
• 采用ℓ1数据保真项的DIP方法（Dℓ1 + P-*）在分辨率幻象上达到最高PSNR（32.92）与SSIM（0.951），表明ℓ1保真项更契合MPI的噪声特性。
• 采用ℓ1数据保真项的变分方法（VAR Dℓ1 + Pℓ1）在分辨率幻象上达到PSNR 30.43与SSIM 0.915，显著优于基于ℓ2的变分方法。
• 本研究证实，ℓ1数据保真项比ℓ2更适用于MPI，尤其在噪声结构非高斯时，DIP与变分方法的结果均显示其优越性。