[论文解读] An Optimal Control Approach to Early Stopping Variational Methods for Image Restoration

Alexander Effland, Erich Kobler+2 more|arXiv (Cornell University)|Jul 19, 2019

Sparse and Compressive Sensing Techniques参考文献 36被引用 4

一句话总结

本文提出了一种最优控制框架，通过将变分图像复原中梯度流的停止时间视为控制变量，以提升图像质量。通过将问题形式化为具有数据驱动代价泛函的最优控制任务，该方法在去噪和去模糊方面取得了优越结果，优于标准变分方法，并通过非线性谱分析揭示了可解释的正则化特性。

ABSTRACT

We investigate a well-known phenomenon of variational approaches in image processing, where typically the best image quality is achieved when the gradient flow process is stopped before converging to a stationary point. This paradox originates from a tradeoff between optimization and modelling errors of the underlying variational model and holds true even if deep learning methods are used to learn highly expressive regularizers from data. In this paper, we take advantage of this paradox and introduce an optimal stopping time into the gradient flow process, which in turn is learned from data by means of an optimal control approach. As a result, we obtain highly efficient numerical schemes that achieve competitive results for image denoising and image deblurring. A nonlinear spectral analysis of the gradient of the learned regularizer gives enlightening insights about the different regularization properties.

研究动机与目标

• 解决一个悖论：尽管预期迭代时间越长结果越好，但变分方法在收敛前即达到最佳图像复原质量。
• 将早期停止形式化为梯度流框架中的学习控制参数，而非启发式选择。
• 构建一个数据驱动的最优控制问题，其中停止时间T与正则化参数一并优化，以最小化重建误差。
• 通过非线性谱分析，揭示所学习正则化的可解释性。
• 证明最优停止时间始终为有限值，与经典变分范式中认为迭代时间越长结果越优的观点相矛盾。

提出的方法

• 将图像复原问题表述为由状态方程控制的梯度流，能量泛函由数据保真项和具有可学习核函数与激活函数的Field of Experts型正则化项组成。
• 在最优控制问题中引入停止时间T作为控制变量，代价泛函用于度量时间T处流轨迹与真实图像之间的距离。
• 使用显式欧拉法和Heun格式对梯度流进行离散化，得到一种静态变分网络架构，该架构是具有时间固定正则化的深度学习模型的子类。
• 通过Lagrangian方法推导一阶最优性条件，以实现最优停止时间T的自动计算。
• 通过计算广义特征对，对所学习正则化的梯度执行非线性谱分析，以研究其局部正则化行为。
• 使用带步长控制的加速梯度下降法，计算64个大小为127×127的广义特征对，初始值为均值减去的图像块，并在边界处进行平滑处理。

实验结果

研究问题

• RQ1 能否通过最优控制从数据中学习变分图像复原梯度流的最优停止时间，而非采用启发式设定？
• RQ2 与运行至收敛的标准变分方法相比，学习停止时间是否能提升图像质量？
• RQ3 所学习正则化的内在正则化特性是什么？其在不同图像结构上的表现如何变化？
• RQ4 为何最优停止时间始终为有限值，即使优化过程允许更大的T值？这与经典变分原理如何矛盾？
• RQ5 对所学习正则化器梯度的非线性谱分析，如何揭示其在不同图像特征上的局部行为？

主要发现

• 所学习模型中的最优停止时间T始终为有限值，表明早期停止并非仅是启发式策略，而是最优解的根本属性。
• 所提方法在去噪和去模糊任务中实现了具有竞争力的图像复原效果，PSNR值优于运行至收敛的标准变分方法。
• 非线性谱分析表明，小特征值对应的特征函数代表具有清晰界面的剪影状结构，而大特征值对应的特征函数则对应纹理和噪声。
• 在去噪任务中，对比度因子（1 - λjT/S）的范围为0.368至0.999，表明正则化器能降低高频噪声的对比度，同时保留结构特征。
• 在去模糊任务中，特征值较小且集中在零附近，对比度因子范围为[0.992, 1.030]，表明正则化器既能降低也能增强对比度，且在图像边界附近具有锐化趋势。
• 谱分析结果证实，所学习正则化器强烈倾向于保留中低频结构，同时抑制高频噪声，其特征函数与对比度因子的分析结果一致。