[논문 리뷰] Characterizations of inexact proximal operators

Guillaume Lauga, Samuel Vaiter|arXiv (Cornell University)|2026. 02. 02.

Optimization and Variational Analysis인용 수 0

한 줄 요약

이 논문은 비정확한 proximal 연산자의 체계적 특성화를 제시하고 여섯 가지 근사 유형을 도입하며, 품질, 규칙성, 허용성에 대한 조건을 제공하여 비합산적이거나 비소멸하는 오차 하에서의 proximal 기반 알고리즘의 수렴 분석을 가능하게 한다.

ABSTRACT

Proximal operators are now ubiquitous in non-smooth optimization. Since their introduction in the seminal work of Moreau, many papers have shown their effectiveness on a wide variety of problems, culminating in their use to construct convergent deep learning methods. The characterization of these operators for non-convex penalties was completed recently in [Gribonval et al, A characterization of proximity operators, 2020]. In this paper, we propose to follow this line of work by characterizing inexact proximal operators, thus providing an answer to what constitutes a good approximation of these operators. We propose several definitions of approximations and discuss their regularity, approximation power, and their fixed points. Equipped with these characterizations, we investigate the convergence of proximal algorithms in the presence of errors that may be non-summable and/or non-vanishing. In particular, we look at the proximal point algorithm, and at the forward-backward, Peaceman-Rachford and Douglas-Rachford algorithms when we minimize the sum of a weakly convex function (whose proximal operator is approximated) and a strongly convex function.

연구 동기 및 목표

• 가능한 비볼록 페널티 φ에 대해 양질의 비정확한 proximal 연산자가 무엇인지 특징화한다.
• 근사들의 품질, 규칙성, 고정점 허용성에 대한 정의와 기준을 제공한다.
• 오차가 있는 proximal 알고리즘의 수렴 보장을 다양한 근사 스킴이 어떻게 영향을 미치는지 보여준다.
• 근사 유형을 비제곱(non-smooth) 최적화에서 사용되는 고정점 이론 및 연산자 분할 방법과 연관지운다.

제안 방법

• 여섯 가지 근사 유형 (a)–(f) 를 비정확 prox-phi 연산자로 도입하고 각각이 prox_phi 를 어떻게 근사하는지 명시한다.
• 좋은 근사의 세 가지 기준 정의: (i) prox_phi 와의 질적 근접성 (σ(ε)); (ii) 최솟값 근처의 고정점으로 허용 가능성; (iii) Lipschitz 규칙성 (L_g, γ).
• 여섯 가지 유형에 대한 정량적 경계를 제공하고 이를 기존 결과들(Proposition 3, Prop.5, Prop.6, Prop.9, Prop.10, Prop.13, Prop.15, Prop.17, Prop.18, Prop.22, Prop.25)과 연결한다.
• ε 가 0으로 갈 때 각 유형에 대한 고정점의 존재 여부를 논의하고, 고정점의 극한에 미치는 ε 의 영향을 논의한다.
• Type별로 품질, 규칙성, 허용성에 대한 요약 표(Table 1)을 제시한다.

실험 결과

연구 질문

• RQ1 (가능한) 비볼록 페널티 φ 에 대해 좋은 비정확한 proximal 연산자가 무엇인지?
• RQ2 다양한 비정확 proximal 근사에 대해 근접성, 규칙성, 고정점 허용성을 어떻게 정량화할 수 있는가?
• RQ3 비합산적 또는 비소멸하는 오차를 가진 근사적 proximal 연산자를 사용할 때 proximal 기반 알고리즘은 어떤 조건에서 수렴하는가?
• RQ4 제안된 여섯 가지 근사 유형은 기존의 Convex/비볼록 proximal 연산 이론 및 수렴 결과와 어떻게 관련되는가?

주요 결과

Approximation type	Quality σ(ε)	Regularity (L_g, γ)	Admissibility (existence of fixed points)
(a)	ε (Eq. (26))	(L_ψ,2ε) (Prop. 3)	Problem specific
(b)	L_ψ ε (Prop. 5)	(L_ψ,2ε) (Prop. 6)	Problem specific
(c)	sqrt(L_ψ ε) (Prop. 9)	(L_ψ,sqrt{2L_ψ ε}) (Prop. 10)	Yes for convex φ (Prop. 13)
(d)	2 sqrt(L_ε ε) (Prop. 15)	(L_ε,0) (Th. 7)	Problem specific
(e)	sqrt{2 L_ψ ε} (Prop. 17)	(L_ψ,sqrt{2L_ψ ε}) (Prop. 18)	Yes for convex φ (Prop. 18)
(f)	sqrt{N(λ^{-1}-ρ)^{-1} ε} (Prop. 21)	(L_ψ,0) (Prop. 22)	Yes for convex φ (Prop. 25)

• 여섯 가지 근사 스킴(type a–f) 은 품질, Lipschitz 규칙성, 허용성 측면에서 특성화된다.
• 각 유형에 대해 ε와 근사치 간의 차이가 얼마나 가까운지를 나타내는 질적 근접도 한계 σ(ε) 가 설정된다.
• 각 유형에 대해 규칙성 결과(L_g, γ) 가 도출되어 근사가 얼마나 매끄럽거나 안정적인지 나타낸다.
• 문제 구조 가정 하에서 근사들이 최솟값 근처에 고정점을 가질 수 있는지에 대한 고정점 허용성을 분석한다.
• 여러 유형에서 Convex φ 인 경우 허용성이 보장되며(예: 유형 c, e, f) 다른 유형에 대해서도 특정 조건에서 허용성 보장이 가능하다.
• Table 1 은 근사 유형과 품질, 규칙성, 허용성 사이의 trade-off 를 요약한다.