[论文解读] A convex variational model for learning convolutional image atoms from incomplete data

Antonin Chambolle, Martin Höller|arXiv (Cornell University)|Dec 7, 2018

Numerical methods in inverse problems参考文献 67被引用 16

一句话总结

本文提出了一种凸变分模型，用于从不完整、噪声或模糊的数据中联合重建图像并学习卷积图像原子。通过利用函数提升和凸松弛，该方法确保了问题的良好 posed 性、稳定性以及全局最优解——为图像重建与原子学习提供了数学上严谨的非凸深度学习方法的替代方案。

ABSTRACT

A variational model for learning convolutional image atoms from corrupted and/or incomplete data is introduced and analyzed both in function space and numerically. Building on lifting and relaxation strategies, the proposed approach is convex and allows for simultaneous image reconstruction and atom-learning in a general, inverse problems context. Further, motivated by an improved numerical performance, also a semi-convex variant is included in the analysis and the experiments of the paper. For both settings, fundamental analytical properties allowing in particular to ensure well-posedness and stability results for inverse problems are proven in a continuous setting. Exploiting convexity, globally optimal solutions are further computed numerically for applications with incomplete, noisy and blurry data and numerical results are shown.

研究动机与目标

• 解决数据驱动图像重建方法（尤其是基于深度学习的方法）在数学稳定性与正则化保证方面的不足。
• 通过引入一种凸框架，弥合经典变分方法与现代数据自适应学习之间的差距，实现图像重建与原子学习的联合处理。
• 确保在函数空间中对包含不完整或受损数据的反问题具备良好 posed 性与稳定性。
• 通过凸松弛实现全局最优解，为深度网络中的非凸训练提供数学上坚实的基础替代方案。
• 支持同时进行重建与原子学习，以及两阶段工作流（先学习原子，再用于重建或分类）

提出的方法

• 采用卷积 Lasso 框架，对图像重建与原子学习问题进行建模，并对系数矩阵施加低秩约束。
• 应用函数提升，将非凸的低秩最小化问题转化为高维空间中的凸问题。
• 利用投影张量积表示提升后的图像-原子分解，实现对原始非凸问题的凸松弛。
• 引入半凸变体以提升数值性能，同时保持理论上的稳定性和收敛性。
• 在提升后的系数矩阵上使用核范数最小化，以促进低秩结构，等价于卷积表示中的稀疏性。
• 通过内射与投影张量积之间的对偶性，推导并求解对偶问题，借助原始-对偶算法实现高效的数值计算。

实验结果

研究问题

• RQ1 能否构建一种凸变分模型，以同时从不完整或受损数据中学习卷积图像原子并实现图像重建？
• RQ2 所提出的提升与松弛策略是否能确保在涉及图像重建与原子学习的反问题中，函数空间中的良好 posed 性与稳定性？
• RQ3 该凸公式能否获得全局最优解？与非凸深度学习方法相比，其在数学保证方面有何差异？
• RQ4 半凸变体在不牺牲理论稳定性的情况下，如何提升数值性能？
• RQ5 在凸且稳定的学习框架下，所学原子在纹理重建或分类等下游任务中的泛化能力如何？

主要发现

• 所提出的凸变分模型在函数空间中确保了良好 posed 性与稳定性，其理论保证扩展了经典反问题结果。
• 函数提升与凸松弛策略将非凸的低秩原子学习问题转化为凸问题，从而实现全局最优的数值解。
• 数值实验表明，该方法能有效从不完整、噪声和模糊数据中实现图像重建与纹理恢复，在定性与定量指标上均优于基线方法。
• 半凸变体在保持理论稳定性与收敛性的同时，提升了收敛速度与实际性能。
• 该方法支持在单步中联合学习图像原子与重建，或采用两阶段工作流（先学习原子，再复用）。
• 理论分析表明，由于底层函数空间的可分性，提升空间中的有界集是弱*紧的，从而支持紧致性与收敛性论证。