[论文解读] Learned convex regularizers for inverse problems

Subhadip Mukherjee, Sören Dittmer+4 more|arXiv (Cornell University)|Aug 6, 2020

Medical Imaging Techniques and Applications参考文献 35被引用 17

一句话总结

该论文提出了一种数据自适应的强凸正则化方法，用于反问题求解，采用输入凸神经网络（ICNN）通过对抗训练来区分真实图像与无正则化重建结果。该方法确保了理论上的收敛性与稳定性，在去模糊和CT重建任务中达到最先进性能，且参数更少、无需早停，优于非凸方法。

ABSTRACT

We consider the variational reconstruction framework for inverse problems and propose to learn a data-adaptive input-convex neural network (ICNN) as the regularization functional. The ICNN-based convex regularizer is trained adversarially to discern ground-truth images from unregularized reconstructions. Convexity of the regularizer is desirable since (i) one can establish analytical convergence guarantees for the corresponding variational reconstruction problem and (ii) devise efficient and provable algorithms for reconstruction. In particular, we show that the optimal solution to the variational problem converges to the ground-truth if the penalty parameter decays sub-linearly with respect to the norm of the noise. Further, we prove the existence of a sub-gradient-based algorithm that leads to a monotonically decreasing error in the parameter space with iterations. To demonstrate the performance of our approach for solving inverse problems, we consider the tasks of deblurring natural images and reconstructing images in computed tomography (CT), and show that the proposed convex regularizer is at least competitive with and sometimes superior to state-of-the-art data-driven techniques for inverse problems.

研究动机与目标

• 通过学习数据自适应的正则化方法，解决变分反问题中手工设计先验的局限性。
• 将深度学习整合到经典正则化理论中，同时保持凸性以获得理论保证。
• 开发一种凸的、数据驱动的正则化器，确保图像重建过程的收敛性与稳定性。
• 证明凸性不会损害与非凸学习正则化器相比的性能表现。
• 减少过拟合现象，并消除训练与重建过程中对早停的依赖。

提出的方法

• 采用输入凸神经网络（ICNN）作为数据自适应正则化器，通过网络结构中非负权重确保强凸性。
• 正则化器通过对抗损失进行训练，以区分真实图像与无正则化重建结果。
• 在每次训练步骤后，对负权重进行零截断，以保持凸性。
• 使用梯度下降求解变分重建问题，当惩罚参数以次线性方式衰减时，具备收敛性保证。
• 证明了一种基于次梯度的算法可在参数空间中单调减少重建误差。
• 在图像去模糊与稀疏视角CT任务上，通过PSNR与视觉对比对方法进行评估。

实验结果

研究问题

• RQ1 能否设计一种既凸又有效的数据驱动正则化器用于反问题？
• RQ2 在学习正则化器中强制凸性是否会损害重建性能？
• RQ3 对抗训练能否生成一种凸正则化器，以确保收敛性与稳定性？
• RQ4 与非凸方法相比，凸正则化器是否可实现无需早停的训练？
• RQ5 凸正则化器能否在参数更少的情况下，实现与非凸方法相当或更优的性能？

主要发现

• ACR正则化器在图像去模糊与CT重建任务中，性能至少与最先进方法相当。
• 在去模糊任务中，ACR在PSNR上比总变差（TV）高出约1 dB，且在某些情况下优于非凸的AR方法。
• ACR优于SFB先验（仅将TV提升约0.5 dB），表明更具表达力的凸模型具有显著优势。
• ACR在训练与重建过程中均无需早停，而相比之下非凸的AR方法则需要，从而减少了过拟合与伪影生成。
• ACR使用的参数显著少于非凸的AR方法，同时保持高性能，尤其在低数据场景下表现更优。
• 理论分析表明，在次线性惩罚参数衰减条件下，重建误差随迭代次数单调下降并收敛至真实值。