[论文解读] Bias-Reduction in Variational Regularization

Eva-Maria Brinkmann, Martin Burger+2 more|arXiv (Cornell University)|Jun 16, 2016

Sparse and Compressive Sensing Techniques参考文献 26被引用 3

一句话总结

本文提出了一种两步去偏方法，用于变分正则化，通过在由Bregman距离定义的模型流形上最小化数据保真度来减少系统性偏差，该流形使用第一步正则化得到的次梯度。该方法在理论上是适定的，并实现了最优去偏，数值实验表明其性能优于标准方法，且与Bregman迭代方法相当。

ABSTRACT

The aim of this paper is to introduce and study a two-step debiasing method for variational regularization. After solving the standard variational problem, the key idea is to add a consecutive debiasing step minimizing the data fidelity on an appropriate set, the so-called model manifold. The latter is defined by Bregman distances or infimal convolutions thereof, using the (uniquely defined) subgradient appearing in the optimality condition of the variational method. For particular settings, such as anisotropic $\ell^1$ and TV-type regularization, previously used debiasing techniques are shown to be special cases. The proposed approach is however easily applicable to a wider range of regularizations. The two-step debiasing is shown to be well-defined and to optimally reduce bias in a certain setting. In addition to visual and PSNR-based evaluations, different notions of bias and variance decompositions are investigated in numerical studies. The improvements offered by the proposed scheme are demonstrated and its performance is shown to be comparable to optimal results obtained with Bregman iterations.

研究动机与目标

• 为解决变分正则化方法中已知的偏差问题，例如总变差中的对比度损失或ℓ¹-正则化中的峰值收缩问题。
• 将现有去偏技术（如在支撑上重新拟合和Bregman迭代）统一到一个通用框架下。
• 形式化一种两步方法，利用第一步变分解的次梯度来定义用于后续去偏的模型流形。
• 在特定条件下，建立理论适定性并实现最优偏差减少。
• 通过PSNR、偏差分解和方差分析等数值研究，证明该方法的有效性。

提出的方法

• 该方法首先执行标准的变分正则化：最小化 H(Au, f) + αJ(u)，得到解 uα 和次梯度 pα ∈ ∂J(uα)。
• 第二步去偏通过在约束 pα ∈ ∂J(u) 下最小化数据保真度 H(Au, f) 实现，即 u 位于由Bregman距离 D_J^{pα}(u, uα) = 0 定义的模型流形上。
• 模型流形通过广义Bregman距离 D_J^p(u, v) = J(u) − J(v) − ⟨p, u − v⟩ 定义，其中 p ∈ ∂J(v)，以确保与第一步次梯度的一致性。
• 对于 ℓ¹ 或 TV 等齐次正则化器，该方法可恢复已知的去偏方案（如带符号约束的支撑上重新拟合）作为特例。
• 通过Bregman距离的下确界卷积重新表述该方法，以处理非光滑和非严格凸泛函。
• 理论分析证明，该两步方法在指定设置下是适定的，并实现最优偏差减少，且在某些情况下与反尺度空间方法和Bregman迭代等价。

实验结果

研究问题

• RQ1 能否开发一种通用的两步去偏框架，统一现有方法（如重新拟合、Bregman迭代和反尺度空间方法）？
• RQ2 如何利用Bregman距离定义的模型流形，实现变分正则化中偏差的最优减少？
• RQ3 与标准正则化和Bregman迭代相比，所提方法在多大程度上实现了最优偏差减少？
• RQ4 第一步得到的次梯度与第二步解流形的结构之间存在何种关系？
• RQ5 在数值实验中，所提去偏方案下的不同偏差与方差分解行为如何？

主要发现

• 该两步去偏方法对于凸的、齐一次正则化泛函是适定且理论成立的。
• 在特定设置下，该方法实现了最优偏差减少，理论保证与Bregman迭代相当。
• 对于ℓ¹和TV型正则化，该方法可恢复已知的重新拟合与符号约束去偏技术作为特例。
• 数值结果表明PSNR和视觉质量显著提升，偏差分解证实了方法偏差的减少。
• 在重建精度和偏差减少方面，该方法与Bregman迭代性能相当，且无需迭代优化。
• 在特定条件下（特别是次梯度保持时），该方法与反尺度空间方法在理论上等价。