[论文解读] Learnable Descent Algorithm for Nonsmooth Nonconvex Image Reconstruction

Yunmei Chen, Hongcheng Liu+2 more|arXiv (Cornell University)|Jul 22, 2020

Sparse and Compressive Sensing Techniques参考文献 84被引用 6

一句话总结

该论文提出了一种可学习下降算法（LDA），用于非光滑、非凸图像重建，通过将正则化建模为与深度卷积神经网络（DNN）参数化、非凸特征映射复合的 $ l_{2,1} $-范数。结合Nesterov的平滑化与残差学习，LDA确保收敛至Clarke驻点，并在多种图像重建任务中实现了参数高效且鲁棒的最先进性能。

ABSTRACT

We propose a general learning based framework for solving nonsmooth and nonconvex image reconstruction problems. We model the regularization function as the composition of the $l_{2,1}$ norm and a smooth but nonconvex feature mapping parametrized as a deep convolutional neural network. We develop a provably convergent descent-type algorithm to solve the nonsmooth nonconvex minimization problem by leveraging the Nesterov's smoothing technique and the idea of residual learning, and learn the network parameters such that the outputs of the algorithm match the references in training data. Our method is versatile as one can employ various modern network structures into the regularization, and the resulting network inherits the guaranteed convergence of the algorithm. We also show that the proposed network is parameter-efficient and its performance compares favorably to the state-of-the-art methods in a variety of image reconstruction problems in practice.

研究动机与目标

• 解决变分图像重建中手工设计正则化项的局限性，这些正则化项通常过于简单，难以捕捉复杂图像结构。
• 克服传统优化方法在非光滑、非凸问题中收敛缓慢且对参数调优敏感的问题。
• 将深度学习与优化理论相结合，构建一种可微分、可解释且收敛的图像重建框架。
• 开发一种可学习的优化算法，既继承收敛性特性，又能适应数据驱动的特征表示。
• 通过联合学习正则化函数与优化动态，实现参数高效、高性能的图像重建。

提出的方法

• 将正则化项建模为 $ r(\mathbf{x};\theta) = \| \mathbf{g}(\mathbf{x};\theta) \|_{2,1} $，其中 $ \mathbf{g} $ 是具有可学习参数 $ \theta $ 的深度卷积神经网络。
• 应用Nesterov的平滑技术处理 $ l_{2,1} $-范数的非光滑性，从而支持基于梯度的优化。
• 设计一种基于残差学习的下降型算法，通过自适应步长和光滑参数 $ \varepsilon_k $ 迭代更新解。
• 使用减少率为0.5的回溯线搜索，确保平滑目标函数 $ \phi_{\varepsilon_k} $ 的充分下降。
• 通过监督学习训练网络参数 $ \theta $，最小化训练数据上的平均损失 $ \frac{1}{N} \sum_{s=1}^N \| \mathbf{x}_\theta^{(s)} - \hat{\mathbf{x}}^{(s)} \|_2^2 $。
• 通过理论证明，在温和条件下，LDA迭代收敛至Clarke驻点，确保收敛性。

实验结果

研究问题

• RQ1 基于深度神经网络正则化的优化框架是否能在保持理论收敛性保证的同时，实现更优的图像重建性能？
• RQ2 如何通过自适应平滑与线搜索的可学习下降算法，有效优化非光滑且非凸的正则化项？
• RQ3 与传统的手工设计正则化项（如总变差）相比，所学习的特征映射 $ \mathbf{g} $ 在捕捉复杂结构细节（如边缘、纹理）方面的能力如何？
• RQ4 即使在15轮训练阶段之后继续迭代，LDA框架是否仍保持稳定与有效性？
• RQ5 所提出的方法是否能在多种图像重建任务（如压缩感知、去噪）中实现参数高效与鲁棒性？

主要发现

• LDA算法收敛至Clarke驻点，即使在非凸与非光滑条件下，也提供了稳定性与收敛性的理论保障。
• LDA在图像重建任务中（包括压缩感知与去噪）实现了最先进性能，PSNR显著优于经典TV方法与学习先验方法。
• 所学习的特征映射 $ \mathbf{g} $ 能够捕捉细微结构细节（如蝴蝶触角、建筑轮廓、鹦鹉喙部），而这些在标准总变差正则化中常被模糊或丢失。
• 即使在15次训练迭代后，LDA仍持续改进目标函数，并在超过12,000次迭代中保持稳定的PSNR，表明其在训练后仍具鲁棒性与持续优化能力。
• 在12,832次迭代中，算法将光滑参数 $ \varepsilon_k $ 减小了109次，表明其具备有效的自适应与收敛能力，且未出现发散。
• 该方法具有参数高效性：网络架构继承了算法的收敛性保证，且训练过程在多种图像重建问题中均表现出稳定与泛化能力。