[논문 리뷰] On a decomposition formula for the proximal operator of the sum of two convex functions

Samir Adly, Loïc Bourdin외 1명|arXiv (Cornell University)|2017. 07. 26.

Optimization and Variational Analysis인용 수 6

한 줄 요약

이 논문은 두 개의 볼록 함수의 합의 프록시멀 연산자의 새로운 분해 공식을 제안하며, 이는 $f$-프록시멀 연산자라 불리는 새로운 연산자 $\mathrm{prox}^{f}_{g}$를 정의한다. 주요 결과는 $\mathrm{prox}_{f+g} = \mathrm{prox}_{f} \circ \mathrm{prox}^{f}_{g}$이며, 이는 약수수렴하는 알고리즘을 통한 수치적 계산을 가능하게 하고, 변분부등식에서 민감도 분석을 위한 이론적 기반을 제공한다.

ABSTRACT

The main result of the present theoretical paper is an original decomposition formula for the proximal operator of the sum of two proper, lower semicontinuous and convex functions $f$ and $g$. For this purpose, we introduce a new operator, called $f$-proximal operator of $g$ and denoted by $\mathrm{prox}^f_g$, that generalizes the classical notion. Then we prove the decomposition formula $\mathrm{prox}_{f+g} = \mathrm{prox}_f \circ \mathrm{prox}^f_g$. After collecting several properties and characterizations of $\mathrm{prox}^f_g$, we prove that it coincides with the fixed points of a generalized version of the classical Douglas-Rachford operator. This relationship is used for the construction of a weakly convergent algorithm that computes numerically this new operator $\mathrm{prox}^f_g$, and thus, from the decomposition formula, allows to compute numerically $\mathrm{prox}_{f+g}$. It turns out that this algorithm was already considered and implemented in previous works, showing that $\mathrm{prox}^f_g$ is already present (in a hidden form) and useful for numerical purposes in the existing literature. However, to the best of our knowledge, it has never been explicitly expressed in a closed formula and neither been deeply studied from a theoretical point of view. The present paper contributes to fill this gap in the literature. Finally we give an illustration of the usefulness of the decomposition formula in the context of sensitivity analysis of linear variational inequalities of second kind in a Hilbert space.

연구 동기 및 목표

• 일반적인 볼록 함수 $f$와 $g$에 대해 $\mathrm{prox}_{f+g}$를 $\mathrm{prox}_f$와 $\mathrm{prox}_g$로 표현하는 데 대한 열린 문제를 해결하기 위해.
• 클래식한 프록시멀 연산자의 일반화인 $f$-프록시멀 연산자 $\mathrm{prox}^{f}_{g}$를 공식적으로 정의하고 연구하기 위해.
• $\mathrm{prox}^{f}_{g}$와 Douglas-Rachford 연산자 사이의 이론적 연결 고리를 확립하여 수치적 계산을 가능하게 하기 위해.
• 분해 공식을 힐베르트 공간에서의 제2종 선형 변분부등식의 민감도 분석에 적용하기 위해.
• $\mathrm{prox}_{f+g}$가 $\mathrm{prox}_f$, $\mathrm{prox}_g$, 그리고 그 역함수들의 조합으로 표현되는 일반적인 닫힌 형태가 존재하지 않음을 증명하기 위해.

제안 방법

• 변분부등식을 통해 $f$와 $g$를 포함하는 방식으로 정의된 $f$-프록시멀 연산자 $\mathrm{prox}^{f}_{g}$를 클래식한 프록시멀 연산자의 일반화로 도입하기 위해.
• 합의 프록시멀 연산자를 조합으로 표현하는 분해 공식 $\mathrm{prox}_{f+g} = \mathrm{prox}_{f} \circ \mathrm{prox}^{f}_{g}$를 증명하기 위해.
• 일반화된 Douglas-Rachford 연산자의 고정점을 통해 $\mathrm{prox}^{f}_{g}$를 특성화하여 반복적 수치 계산을 가능하게 하기 위해.
• Douglas-Rachford 분할과의 연결을 활용하여 $\mathrm{prox}^{f}_{g}$를 수치적으로 계산할 수 있는 약수수렴하는 알고리즘을 제안하기 위해.
• 분해 공식을 사용하여 매개변수화된 변분부등식의 해에 대한 점근 전개를 유도하여 $t=0$에서의 민감도 분 析를 가능하게 하기 위해.
• 모든 $\mathrm{I}$, $\mathrm{prox}_f$, $\mathrm{prox}_g$, $\mathrm{prox}_f^{-1}$, $\mathrm{prox}_g^{-1}$의 조합의 선형 조합으로 표현되는 $\mathrm{prox}_{f+g}$에 대한 일반적인 닫힌 형태가 존재하지 않음을 증명하기 위해.

실험 결과

연구 질문

• RQ1 두 볼록 함수의 합의 프록시멀 연산자는 더 단순한 프록시멀 연산자의 조합으로 표현될 수 있는가?
• RQ2 새로 정의된 $f$-프록시멀 연산자 $\mathrm{prox}^{f}_{g}$의 이론적 및 수치적 의의는 무엇인가?
• RQ3 $\mathrm{prox}^{f}_{g}$는 Douglas-Rachford 분할 프레임워크와 어떻게 관련이 있는가?
• RQ4 분해 공식은 비가속성 제약 조건이 있는 변분부등식에서 민감도 분석에 사용될 수 있는가?
• RQ5 $\mathrm{prox}_f$, $\mathrm{prox}_g$, 그리고 그들의 역함수들로 표현되는 $\mathrm{prox}_{f+g}$에 대한 일반적인 닫힌 형태가 존재하는가?

주요 결과

• 모든 힐베르트 공간에서 정의된 적절하고 하향연속적이며 볼록인 함수 $f$와 $g$에 대해 분해 공식 $\mathrm{prox}_{f+g} = \mathrm{prox}_{f} \circ \mathrm{prox}^{f}_{g}$가 성립한다.
• $\mathrm{prox}^{f}_{g}$는 일반화된 Douglas-Rachford 연산자의 고정점으로 특성화되며, 이는 수치 알고리즘의 약수수렴을 가능하게 한다.
• $\mathrm{prox}^{f}_{g}$를 계산하기 위한 알고리즘은 약수수렴하며, 이는 분해 공식을 통해 $\mathrm{prox}_{f+g}$의 수치적 계산에 활용될 수 있다.
• 분해 공식은 제2종 변분부등식의 민감도 분석에 대한 새로운 접근법을 가능하게 하며, $u'(0)$에 대한 표현을 $\mathrm{prox}^{\varphi_f}_{\psi_g}$로 유도한다.
• 존재하지 않음을 증명한 결과: $\mathrm{I}$, $\mathrm{prox}_f$, $\mathrm{prox}_g$, $\mathrm{prox}_f^{-1}$, $\mathrm{prox}_g^{-1}$의 조합의 선형 조합으로 표현되는 $\mathrm{prox}_{f+g}$에 대한 일반적인 닫힌 형태는 존재하지 않는다.
• 이론적 프레임워크는 고전적인 결과를 복원하고 일반화하며, 예를 들어 Mignot의 투영에 대한 점근 전개를 비가속성 설정으로 확장한다.