[论文解读] Gradient descent in a generalised Bregman distance framework

Martin Benning, Marta M. Betcke+2 more|arXiv (Cornell University)|Dec 8, 2016

Numerical methods in inverse problems参考文献 5被引用 6

一句话总结

本文提出了一种广义Bregman距离框架用于梯度下降，将线性化Bregman迭代扩展至巴拿赫空间中的光滑非凸目标函数。在广义Kurdyka-Łojasiewicz条件下，该方法建立了充分下降性质与全局收敛性，即使正则化泛函非光滑，也能实现收敛。

ABSTRACT

We discuss a special form of gradient descent that in the literature has become known as the so-called linearised Bregman iteration. The idea is to replace the classical (squared) two norm metric in the gradient descent setting with a generalised Bregman distance, based on a more general proper, convex and lower semi-continuous functional. Gradient descent as well as the entropic mirror descent by Nemirovsky and Yudin are special cases, as is a specific form of non-linear Landweber iteration introduced by Bachmayr and Burger. We are going to analyse the linearised Bregman iteration in a setting where the functional we want to minimise is neither necessarily Lipschitz-continuous (in the classical sense) nor necessarily convex, and establish a global convergence result under the additional assumption that the functional we wish to minimise satisfies the so-called Kurdyka-Łojasiewicz property.

研究动机与目标

• 将线性化Bregman迭代从凸最小化问题推广至巴拿赫空间中的光滑非凸泛函。
• 在弱假设下建立广义Bregman梯度下降框架的收敛性保证。
• 通过一个具有非光滑正则化的相位解缠示例，展示该框架的适用性。
• 为在度量基下降之外使用非光滑Bregman距离提供理论基础。

提出的方法

• 使用适当、下确连续、凸泛函 $ J $ 的次微分，构建广义Bregman距离。
• 提出一种线性化Bregman迭代，通过在每一步最小化线性化梯度项与Bregman距离的组合来实现。
• 利用对称Bregman距离与步长 $ \\tau^k $ 的曲率条件，推导出充分下降性质。
• 在广义Kurdyka-Łojasiewicz（KL）条件下建立全局收敛性，将原始迭代与对偶梯度联系起来。
• 将该框架应用于具有三种不同正则化选择的相位解缠问题：零正则化、Tikhonov正则化和 $ \\ell^1 $-基正则化。
• 采用偏差原则根据数据保真度停止迭代，确保在数值实验中对噪声的鲁棒性。

实验结果

研究问题

• RQ1 线性化Bregman迭代能否被扩展至巴拿赫空间中的非凸、光滑目标函数？
• RQ2 在何种条件下，广义Bregman梯度下降能保证充分下降与收敛？
• RQ3 与光滑度量相比，非光滑正则化（如 $ \\ell^1 $-范数）的选择如何影响收敛性与性能？
• RQ4 对称Bregman距离在非凸问题收敛性证明中起什么作用？
• RQ5 该框架能否应用于具有非光滑正则化的实际反问题（如相位解缠）？

主要发现

• 通过不等式 (4) 明确定义，线性化Bregman迭代利用对称Bregman距离确保了目标函数的充分下降。
• 在给定假设下，连续迭代之间的对称Bregman距离趋于零，即 $ \\lim_{k\\to\\infty} D^\\text{symm}_J(u^{k+1}, u^k) = 0 $。
• 即使在非凸目标函数下，也在广义Kurdyka-Łojasiewicz条件下建立了全局收敛性。
• 数值结果表明，非光滑Bregman距离（如 $ \\|Cu\\|_{\\ell^1} $）在相位解缠中可优于光滑Tikhonov型正则化，尤其在保持边缘方面表现更优。
• 该方法对噪声具有鲁棒性，迭代基于噪声水平 $ \\sigma = 0.15 $ 的偏差原则停止。
• 只要满足条件 (3)，即使正则化泛函 $ J $ 非光滑，该框架依然适用。