[論文レビュー] Characterizations of inexact proximal operators

Guillaume Lauga, Samuel Vaiter|arXiv (Cornell University)|Feb 2, 2026

Optimization and Variational Analysis被引用数 0

ひとこと要約

この論文は、非正確なプロキシ運算子の体系的な特徴付けを行い、6つの近似タイプを導入し、その品質・正則性・適合性の条件を提供する。これにより、非総和あるいは消失しない誤差の下でのプロキシベースアルゴリズムの収束解析を可能にする。

ABSTRACT

Proximal operators are now ubiquitous in non-smooth optimization. Since their introduction in the seminal work of Moreau, many papers have shown their effectiveness on a wide variety of problems, culminating in their use to construct convergent deep learning methods. The characterization of these operators for non-convex penalties was completed recently in [Gribonval et al, A characterization of proximity operators, 2020]. In this paper, we propose to follow this line of work by characterizing inexact proximal operators, thus providing an answer to what constitutes a good approximation of these operators. We propose several definitions of approximations and discuss their regularity, approximation power, and their fixed points. Equipped with these characterizations, we investigate the convergence of proximal algorithms in the presence of errors that may be non-summable and/or non-vanishing. In particular, we look at the proximal point algorithm, and at the forward-backward, Peaceman-Rachford and Douglas-Rachford algorithms when we minimize the sum of a weakly convex function (whose proximal operator is approximated) and a strongly convex function.

研究の動機と目的

• 可能で非凸ペナルティ φ に対して良いとは何かを特徴づけること。
• 近似の品質・正則性・固定点適合性の定義と基準を提供すること。
• 異なる近似スキームが誤差下でのプロキシ法アルゴリズムの収束保証にどのように影響するかを示すこと。
• 近似タイプを平面固定点理論と非光沢最適化で用いられるオペレータ分割法と関連付けること。

提案手法

• 六つの近似タイプ（a）–（f）をinexact prox-phi operatorとして導入し、それぞれがprox_φをどのように近似するかを規定する。
• 良い近似のための三つの基準を定義する： (i) prox_φ への定性的近接性（σ(ε)）； (ii) 最小化点の近くに固定点を含む適合性； (iii) Lipschitz 正則性（L_g, γ）。
• 六つのタイプに対する定量的境界を提供し、既存の結果（Prop. 3, Prop.5, Prop.6, Prop.9, Prop.10, Prop.13, Prop.15, Prop.17, Prop.18, Prop.22, Prop.25）と結びつける。
• 各タイプの固定点の存在とεが ε→0 のとき固定点の極限にどう影響するかを論じる。
• Table 1 を提示し、各タイプの品質・正則性・適合性を要約する。

実験結果

リサーチクエスチョン

• RQ1 可能で弱い非凸ペナルティ φ に対して良いとは何かを定義すること。
• RQ2 さまざまなinexact proximal近似の近接性・正則性・固定点適合性をどう定量化するか。
• RQ3 非総和・非消失誤差を伴う近似プロキシ演算子を用いた場合、プロキシ法ベースのアルゴリズムはどの条件で収束するか。
• RQ4 六つの提案近似タイプは既存の凸/非凸プロキシ演算子理論と収束結果とどう関連するか。

主な発見

Approximation type	Quality σ(ε)	Regularity (L_g, γ)	Admissibility (existence of fixed points)
(a)	ε (Eq. (26))	(L_ψ,2ε) (Prop. 3)	Problem specific
(b)	L_ψ ε (Prop. 5)	(L_ψ,2ε) (Prop. 6)	Problem specific
(c)	sqrt(L_ψ ε) (Prop. 9)	(L_ψ,sqrt{2L_ψ ε}) (Prop. 10)	Yes for convex φ (Prop. 13)
(d)	2 sqrt(L_ε ε) (Prop. 15)	(L_ε,0) (Th. 7)	Problem specific
(e)	sqrt{2 L_ψ ε} (Prop. 17)	(L_ψ,sqrt{2L_ψ ε}) (Prop. 18)	Yes for convex φ (Prop. 18)
(f)	sqrt{N(λ^{-1}-ρ)^{-1} ε} (Prop. 21)	(L_ψ,0) (Prop. 22)	Yes for convex φ (Prop. 25)

• 六つの近似スキーム（タイプ a–f）は品質・Lipshitz正則性・適合性の観点から特徴付けられる。
• 各タイプに対して σ(ε) の定性的近接境界が確立され、εと近似の prox_φ への近さの関係を示す。
• 各タイプについて正則性結果（L_g, γ）を導出し、近似の滑らかさや安定性を示す。
• 固定点適合性を分析し、問題構造の仮定の下で近似が最小点付近に固定点を持つ場合を示す。
• いくつかのタイプでは、凸 φ の場合に適合性が保証される（例：タイプ c, e, f）と、他のタイプでは特定の条件下で適合性が保証される。
• Table 1 は近似タイプと品質・正則性・適合性のトレードオフを要約する。