[论文解读] Maximum likelihood estimation of regularisation parameters in high-dimensional inverse problems: an empirical Bayesian approach. Part I: Methodology and Experiments

Ana F. Vidal, Valentin De Bortoli+2 more|arXiv (Cornell University)|Nov 26, 2019

Sparse and Compressive Sensing Techniques参考文献 66被引用 5

一句话总结

本文提出了一种经验贝叶斯方法，用于在高维反向成像问题中通过最大边缘似然估计，实现自动、数据驱动的多个正则化参数估计。通过结合随机近端梯度优化与近端MCMC采样，该方法在利用标准近端算法相同算子的同时，高效地估计参数，在去噪、去模糊和高光谱解混任务中实现了接近最优的性能。

ABSTRACT

Many imaging problems require solving an inverse problem that is ill-conditioned or ill-posed. Imaging methods typically address this difficulty by regularising the estimation problem to make it well-posed. This often requires setting the value of the so-called regularisation parameters that control the amount of regularisation enforced. These parameters are notoriously difficult to set a priori, and can have a dramatic impact on the recovered estimates. In this work, we propose a general empirical Bayesian method for setting regularisation parameters in imaging problems that are convex w.r.t. the unknown image. Our method calibrates regularisation parameters directly from the observed data by maximum marginal likelihood estimation, and can simultaneously estimate multiple regularisation parameters. Furthermore, the proposed algorithm uses the same basic operators as proximal optimisation algorithms, namely gradient and proximal operators, and it is therefore straightforward to apply to problems that are currently solved by using proximal optimisation techniques. Our methodology is demonstrated with a range of experiments and comparisons with alternative approaches from the literature. The considered experiments include image denoising, non-blind image deconvolution, and hyperspectral unmixing, using synthesis and analysis priors involving the L1, total-variation, total-variation and L1, and total-generalised-variation pseudo-norms. A detailed theoretical analysis of the proposed method is presented in the companion paper arXiv:2008.05793.

研究动机与目标

• 解决在不适定成像反问题中先验选择正则化参数这一长期存在的挑战。
• 开发一种通用、自动且无监督的方法，用于同时估计多个正则化参数。
• 通过整合现代近端优化与蒙特卡洛采样技术，确保计算效率与理论鲁棒性。
• 在多种成像问题中证明该方法的有效性，包括非盲反卷积和全变差正则化。
• 提供一种理论基础坚实、可扩展的方法，适用于凸的、可能非光滑的成像问题。

提出的方法

• 该方法采用最大边缘似然估计，直接从观测数据中推断正则化参数。
• 它使用由两个近端马尔可夫链蒙特卡洛（MCMC）采样器驱动的随机近端梯度算法，以近似难以计算的边缘似然。
• 该算法依赖于梯度算子和近端算子，确保与现有近端优化框架的兼容性。
• 该方法被设计用于处理多个正则化参数，包括全变差（TGV）等双参数情形。
• 在易于验证的条件下建立了收敛性，理论保证由配套的理论分析支持。
• 该方法被应用于涉及ℓ₁、全变差和全变差正则化先验的问题，采用高效的数值实现。

实验结果

研究问题

• RQ1 如何在高维反向成像问题中自动且稳健地估计正则化参数？
• RQ2 统一的经验贝叶斯框架能否同时估计凸成像问题中的多个正则化参数？
• RQ3 与现有方法（如SURE、L曲线法和交叉验证）相比，该方法在估计精度和鲁棒性方面表现如何？
• RQ4 所提出的随机近端MCMC算法在边缘似然优化中的理论收敛特性是什么？
• RQ5 该方法在复杂正则化结构（如全变差正则化和混合稀疏性-正则化模型）上的泛化能力如何？

主要发现

• 在图像去噪和非盲去模糊任务中，该方法在均方误差（MSE）方面实现了接近最优的性能，优于文献中其他方法。
• 在采用全变差与稀疏性先验的高光谱解混问题中，该方法成功估计了两个正则化参数，并实现了接近最优MSE的结果。
• 在全变差正则化（TGV）下，该方法在12 dB信噪比条件下对flintstones图像实现了接近最优的去噪性能，且在不同初始化下均表现出稳定的收敛性。
• 当初始化接近传统全变差区域时，该算法对初始化具有鲁棒性；但若初始化不佳，可能导致次优收敛。
• 该方法计算高效且可扩展，利用与标准近端求解器相同的算子，可直接集成到现有成像工作流中。
• 理论分析证实了在温和条件下的收敛性，且该方法可推广至测试范围之外的其他正则化结构。