[논문 리뷰] Douglas-Rachford splitting for a Lipschitz continuous and a strongly monotone operator

Walaa M. Moursi, Lieven Vandenberghe|arXiv (Cornell University)|2018. 05. 23.

Optimization and Variational Analysis참고 문헌 28인용 수 6

한 줄 요약

이 논문은 한 쪽 연산자가 리프시츠 연속이고 다른 쪽이 강한 단조성일 때 도울러스–라흐포드 분할법의 선형 수렴성을 확립한다. 이는 이전 결과에서 요구하던 코코어시비티 조건을 필요로 하지 않는다. 핵심 기여는 이 비대칭 설정에서 명시적이고 날카운 수렴 속도를 제공하는 것으로, 특히 비대칭 선형 연산자에 대한 원시-이중 최적화 문제에 적용 가능하다.

ABSTRACT

The Douglas-Rachford method is a popular splitting technique for finding a zero of the sum of two subdifferential operators of proper closed convex functions; more generally two maximally monotone operators. Recent results concerned with linear rates of convergence of the method require additional properties of the underlying monotone operators, such as strong monotonicity and cocoercivity. In this paper, we study the case when one operator is Lipschitz continuous but not necessarily a subdifferential operator and the other operator is strongly monotone. This situation arises in optimization methods which involve primal-dual approaches. We provide new linear convergence results in this setting.

연구 동기 및 목표

• 한 연산자가 리프시츠 연속이고 다른 한 연산자가 강한 단조성일 때 도울러스–라흐포드 알고리즘의 선형 수렴성을 확립하는 것 — 기존 결과에서 다루지 않은 설정이다.
• 기존 이론에서 코코어시비티 또는 대칭성 가정 하에만 알려진 수렴 속도의 격차를 메우는 것.
• 이 비대칭 케이스에 대해 날카운 명시적 수렴 속도 표현을 제공하여 기존 한계를 향상시키는 것.
• 특히 한 연산자가 비대칭 선형 사상일 경우에 적용 가능한 원시-이중 도울러스–라흐포드 방법에 이론적 결과를 적용하는 것.

제안 방법

• 반사된 해소자( reflected resolvent )의 성질을 활용하고, 도울러스–라흐포드 반복을 연산자의 해소자와 반사된 해소자로 재매개변수화한다.
• 행렬 표현을 통해 연산자 성질(리프시츠 연속성, 강한 단조성)과 해소자 및 반사된 해소자의 성질 간의 등가성을 확립한다.
• 주어진 가정 하에서 반복 연산자의 스펙트럼 성질을 분석함으로써 수렴 속도를 유도한다.
• 핵심 기술적 단계로, 리프시츠 상수 β와 강한 단조성 매개변수 µ를 사용하여 반복 연산자의 노름을 유계화하는 것이다.
• 수렴 속도 표현은 원시-이중 적용에서 β, µ, 그리고 연산자 노름 ∥L∥에 대한 함수로 도출된다.
• 이론적 결과는 비대칭 선형 연산자와 하위미분 항을 포함하는 원시-이중 포함 문제에 적용되어 검증된다.

실험 결과

연구 질문

• RQ1 한 연산자가 리프시츠 연속이고 다른 한 연산자가 강한 단조성일 때, 코코어시비티나 대칭성 조건 없이 도울러스–라흐포드 방법의 선형 수렴성을 확립할 수 있는가?
• RQ2 이 비대칭 설정에서 날카운 선형 수렴 속도는 무엇이며, 리프시츠 상수와 강한 단조성 매개변수에 어떻게 의존하는가?
• RQ3 리프시츠 연산자가 하위미분이 아닌 경우, 예를 들어 비대칭 선형 사상일 경우 수렴 속도는 어떻게 되는가?
• RQ4 이론적 수렴 속도는 원시-이중 최적화 맥락에서 적용되고 검증될 수 있는가?
• RQ5 수렴 속도는 스텝 길이 매개변수 γ에 대해 효과적으로 최적화될 수 있는가?

주요 결과

• 한 연산자가 리프시츠 연속이고 다른 한 연산자가 강한 단조성일 때, 도울러스–라흐포드 방법은 날카운 속도로 선형 수렴하며, 이는 리프시츠 연산자가 하위미분이 아닐 경우에도 성립한다.
• 수렴 속도는 r = 1/(2(1+µ)) × [√(2µ² + 2µ + 1) + 2(1 − 2(1 + ∥L∥²)⁻¹)½ µ(1 + µ) + 1] 으로 주어지며, 이는 명시적이고 µ 및 ∥L∥에 의존한다.
• 속도는 연산자 간 비대칭이며, 강한 단조성 연산자를 리프시츠 연산자로 대체할 경우 일반적으로 확장되지 않지만, 후자가 선형인 경우에 한해 성립한다.
• 원시-이중 설정에서는 모든 반복에서 동일한 속도로 선형 수렴이 달성되며, 원시, 이중, 원시-이중 변수 모두에 적용된다.
• 일반적으로 스텝 길이 γ에 대한 최적화는 쉽지 않으며, γ 최적화 과정에서 발생하는 오차방정식(5차 방정식)으로 인해 그 어려움이 드러난다.
• 기존의 지젤슨의 프레임워크를 확장하여, 코코어시비티가 아닌 리프시츠 연속성이 요구되는 새로운 케이스를 다루며, 분할법에 대한 더 넓은 이론적 기반을 제공한다.