[논문 리뷰] Douglas-Rachford Splitting: Complexity Estimates and Accelerated Variants

Panagiotis Patrinos, Lorenzo Stella외 1명|arXiv (Cornell University)|2014. 07. 24.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 11

한 줄 요약

이 논문은 비연속적 도우거스-라흐포드 분할(DRS) 방법을 부드러운 최적화 기법으로 변환할 수 있는 부드러운 대체 함수인 도우거스-라흐포드 엔velop (DRE)를 제안한다. DRE를 통해 DRS는 DRE 상의 스케일링된 경사하강법으로 재해석되며, 부드러운 최적화 이론을 활용해 수렴 속도를 유도하고, 볼록 이차 문제에 대해 $1/k^2$ 수렴 속도를 달성하는 가속화된 DRS 변종을 제안한다. 이는 기존 DRS의 $1/k$ 수렴 속도보다 크게 향상된 성능이다.

ABSTRACT

We propose a new approach for analyzing convergence of the Douglas-Rachford splitting method for solving convex composite optimization problems. The approach is based on a continuously differentiable function, the Douglas-Rachford Envelope (DRE), whose stationary points correspond to the solutions of the original (possibly nonsmooth) problem. By proving the equivalence between the Douglas-Rachford splitting method and a scaled gradient method applied to the DRE, results from smooth unconstrained optimization are employed to analyze convergence properties of DRS, to tune the method and to derive an accelerated version of it.

연구 동기 및 목표

• 볼록 복합 최적화 문제에서 도우거스-라흐포드 분할(DRS) 방법의 잘 이해된 수렴 속도 부족 문제를 해결하기 위해.
• 도우거스-라흐포드 엔velop (DRE)를 도입하여 DRS와 부드러운 무제약 최적화 간의 연결 고리를 구축하기 위해.
• 함수 $f$에 대한 부드러움 조건을 가정할 때 DRS의 복잡도 추정치와 수렴 속도를 유도하기 위해.
• 최적의 일阶 방법을 적용하여 DRS의 가속화된 변종을 개발하고, 더 나은 수렴 속도를 확보하기 위해.
• DRE 프레임워크를 통해 $\gamma$ 및 $\lambda_k$와 같은 매개변수를 실용적으로 조정할 수 있도록 하기 위해.

제안 방법

• 원래의 비연속 문제 $\min f(x) + g(x)$의 정류점과 일치하는 정류점을 가지는 $C^1$ 함수로 도우거스-라흐포드 엔velop (DRE)를 정의한다.
• 함수 $f$가 이중 연속 미분 가능하고 그 그라디언트가 리프시츠 연속일 경우, DRS가 DRE에 적용된 스케일링된 경사하강법과 동치임을 증명한다.
• 강한 볼록성과 리프시츠 연속 그라디언트 등의 DRE 성질을 활용해, 부드러운 최적화 이론의 표준 결과를 적용하여 DRS의 수렴 속도를 분석한다.
• 최적의 일阶 방법(예: 네스테로프 스타일 가속화)을 DRE에 적용하여 가속화된 DRS 변종을 유도하고, $1/k^2$ 수렴 속도를 달성한다.
• DRE를 활용해 $\gamma$ 및 $\lambda_k$ 매개변수를 조정하여 수렴 속도와 안정성을 향상시킨다.
• 상자 제약 이차 프로그래밍 문제와 희소 최소 제곱 문제에 대해 수치적 실험을 통해 제안 방법을 검증한다.

실험 결과

연구 질문

• RQ1 비선형 대체 함수를 통해 DRS 방법을 부드러운 최적화 이론의 관점에서 분석할 수 있는가?
• RQ2 함수 $f$가 볼록 이차일 경우 DRS의 수렴 속도는 무엇이며, 이를 향상시킬 수 있는가?
• RQ3 DRE를 활용해 DRS의 가속화된 변종을 어떻게 도출하고 조정할 수 있는가?
• RQ4 $\gamma$ 및 $\lambda_k$의 어떤 매개변수 설정이 실질적으로 최적의 수렴을 이끌어내는가?
• RQ5 DRE 프레임워크는 기존 접근법보다 더 날카로운 복잡도 추정치를 가능하게 하는가?

주요 결과

• DRS 방법은 도우거스-라흐포드 엔velop (DRE) 상의 스케일링된 경사하강법과 동치이며, 이로 인해 부드러운 최적화 이론의 적용이 가능해진다.
• 볼록 이차 함수 $f$에 대해 DRE는 강한 볼록성을 가지며, 그라디언트가 리프시츠 연속적임을 보여주며, 이는 수렴 속도 분석이 가능함을 의미한다.
• 이 조건 하에서 표준 DRS는 전역적으로 $\left(1 - \frac{\mu_h}{L_h}\right)^k$ 의 선형 수렴 속도를 보인다.
• 가속화된 DRS 변종은 목적 함수 갭에 대해 $O(1/k^2)$ 의 전역 수렴 속도를 달성하며, 이는 기존의 $O(1/k)$ 수렴 속도보다 향상된 것이다.
• 수치 실험 결과, 가속화된 DRS는 특히 $\gamma$ 가 최적 값 $\gamma_*$ 근처에 설정되었을 때 표준 DRS를 뛰어넘는 성능을 보였다.
• DRE 프레임워크를 통해 $\gamma$ 및 $\lambda_k$ 를 실용적으로 조정할 수 있었으며, 실험 결과 $\gamma = \gamma_*$ 일 때 수렴 속도가 가장 빠르게 나타났다.