[论文解读] Characterizations of inexact proximal operators

Guillaume Lauga, Samuel Vaiter|arXiv (Cornell University)|Feb 2, 2026

Optimization and Variational Analysis被引用 0

一句话总结

该论文对不精确近端算子进行了系统表征，提出六种近似类型，并给出其质量、正则性与可采性条件，从而在非可加误差或非消失误差的情形下实现基于近端的算法的收敛分析。

ABSTRACT

Proximal operators are now ubiquitous in non-smooth optimization. Since their introduction in the seminal work of Moreau, many papers have shown their effectiveness on a wide variety of problems, culminating in their use to construct convergent deep learning methods. The characterization of these operators for non-convex penalties was completed recently in [Gribonval et al, A characterization of proximity operators, 2020]. In this paper, we propose to follow this line of work by characterizing inexact proximal operators, thus providing an answer to what constitutes a good approximation of these operators. We propose several definitions of approximations and discuss their regularity, approximation power, and their fixed points. Equipped with these characterizations, we investigate the convergence of proximal algorithms in the presence of errors that may be non-summable and/or non-vanishing. In particular, we look at the proximal point algorithm, and at the forward-backward, Peaceman-Rachford and Douglas-Rachford algorithms when we minimize the sum of a weakly convex function (whose proximal operator is approximated) and a strongly convex function.

研究动机与目标

• 表征对可能具有非凸惩罚 φ 的“良好”不精确近端算子应具备的特征。
• 给出近似的质量、正则性与固定点可采性的定义与判据。
• 展示不同近似方案在误差存在时对近端算法收敛性保证的影响。
• 将近似类型与在非光滑优化中使用的固定点理论与算子分裂方法联系起来。

提出的方法

• 引入六种近似类型（a）–（f），将其视为不精确的 prox-phi 算子，并指明它们各自如何近似 prox_φ。
• 给出对良好近似的三个判据：① 对 prox_φ 的定性接近性（σ(ε)）；② 在允许极小的固定点时具有可接近的最小点；③ Lipschitz 正则性（L_g, γ）。
• 给出六种类型的定量界，并将其与现有结果（Prop. 3, Prop.5, Prop.6, Prop.9, Prop.10, Prop.13, Prop.15, Prop.17, Prop.18, Prop.22, Prop.25）相联系。
• 讨论每种类型的固定点存在性，以及 ε 如何影响当 ε→0 时固定点的极限。
• 给出表 Table 1，总结每种类型的质量、正则性与可采性。

实验结果

研究问题

• RQ1 对可能是弱非凸惩罚 φ 的“不精确近端算子”应具备的特征是什么？
• RQ2 如何量化不同的不精确近端近似在接近度、正则性和固定点可采性方面的差异？
• RQ3 在近端算法使用近似近端算子且误差不可累加或不消失的条件下，何时能保证收敛？
• RQ4 六种提议的近似类型如何与现有的凸/非凸近端算子理论和收敛性结果相关联？

主要发现

Approximation type	Quality σ(ε)	Regularity (L_g, γ)	Admissibility (existence of fixed points)
(a)	ε (Eq. (26))	(L_ψ,2ε) (Prop. 3)	Problem specific
(b)	L_ψ ε (Prop. 5)	(L_ψ,2ε) (Prop. 6)	Problem specific
(c)	sqrt(L_ψ ε) (Prop. 9)	(L_ψ,sqrt{2L_ψ ε}) (Prop. 10)	Yes for convex φ (Prop. 13)
(d)	2 sqrt(L_ε ε) (Prop. 15)	(L_ε,0) (Th. 7)	Problem specific
(e)	sqrt{2 L_ψ ε} (Prop. 17)	(L_ψ,sqrt{2L_ψ ε}) (Prop. 18)	Yes for convex φ (Prop. 18)
(f)	sqrt{N(λ^{-1}-ρ)^{-1} ε} (Prop. 21)	(L_ψ,0) (Prop. 22)	Yes for convex φ (Prop. 25)

• 六种近似方案（类型 a–f）在质量、Lipschitz 正则性和可采性方面被表征。
• 为每种类型建立了定性接近界 σ(ε)，将 ε 与近似与 prox_φ 的接近程度联系起来。
• 给出每种类型的正则性结果（L_g, γ），指示近似的光滑性或稳定性。
• 对固定点可采性进行分析，显示在给定问题结构假设下，近似在接近最小点处具备固定点的条件。
• 对于若干类型，在凸情形下（如类型 c、e、f 当 φ 为凸时）以及对其他类型在特定条件下，可采性得到保证。
• Table 1 总结了近似类型、质量、正则性与可采性之间的权衡。