[논문 리뷰] Accelerated Douglas-Rachford methods for the solution of convex-concave saddle-point problems

Kristian Bredies, Hongpeng Sun|arXiv (Cornell University)|2016. 04. 21.

Numerical methods in inverse problems참고 문헌 2인용 수 6

한 줄 요약

이 논문은 강한 볼록성 조건 하에서, 쌍대 기능 또는 원래 기능 중 하나가 강한 볼록성을 만족할 경우 $\frac{1}{k^2}$ 에르고딕 수렴을 달성하는 충족 가능한-볼록 최소화 문제에 대한 가속화된 Douglas–Rachford 방법을 제안한다. 둘 다 강한 볼록성을 만족할 경우 선형 수렴 $\frac{1}{\theta^k}$ 를 달성한다. 이 방법들은 정확한 선형 해법을 사용하는 대신 불완전한 선형 해법을 포함한 조절 기법을 통합하면서도 수렴 속도를 유지하며, 대규모 영상 노이즈 제거 문제에서 최신 기술들과 경쟁 가능한 성능을 보여준다.

ABSTRACT

We study acceleration and preconditioning strategies for a class of Douglas-Rachford methods aiming at the solution of convex-concave saddle-point problems associated with Fenchel-Rockafellar duality. While the basic iteration converges weakly in Hilbert space with $\mathcal{O}(1/k)$ ergodic convergence of restricted primal-dual gaps, acceleration can be achieved under strong-convexity assumptions. Namely, if either the primal or dual functional in the saddle-point formulation is strongly convex, then the method can be modified to yield $\mathcal{O}(1/k^2)$ ergodic convergence. In case of both functionals being strongly convex, similar modifications lead to an asymptotic convergence of $\mathcal{O}({\vartheta}^k)$ for some $0 < {\vartheta} < 1$. All methods allow in particular for preconditioning, i.e., the inexact solution of the implicit linear step in terms of linear splitting methods with all convergence rates being maintained. The efficiency of the proposed methods is verified and compared numerically, especially showing competitiveness with respect to state-of-the-art accelerated algorithms.

연구 동기 및 목표

• 강한 볼록성 조건 하에서 원래 또는 쌍대 기능이 강한 볼록성을 만족할 경우, 충족 가능한-볼록 최소화 문제에 대해 Douglas–Rachford 분할 방법의 가속화된 변종을 개발한다.
• 원래 또는 쌍대 기능 중 하나가 강한 볼록성을 만족할 경우의 수렴 보장을 수립한다.
• 정확한 선형 해법을 사용하지 않고도 가속화된 방법에 선형 조절 기법을 통합하여 수렴 속도를 떨어뜨리지 않는다.
• 제안된 방법의 효율성과 최신 1차 알고리즘에 대한 경쟁력을 수치적으로 검증한다.
• L^2-Huber-TV 노이즈 제거와 같은 대규모 변분 영상 처리 문제에 Douglas–Rachford 방법의 적용 범위를 확장한다.

제안 방법

• 이 방법은 쌍대 문제의 최적성 조건에 대해 Douglas–Rachford 분할을 적용하여 선형 연산자와 하위미분 연산자를 암묵적 단계로 분해한다.
• 각 반복 단계에서 기능 $\fancyscript{F}$ 와 $\fancyscript{G}$ 의 프록시 매핑을 사용하며, 연산자 $\fancyscript{K}$ 를 포함한 선형 연립방정식의 암묵적 해법을 수행한다.
• 강한 볼록성 조건을 활용한 수정된 반복 방식을 통해 원래-쌍대 간격의 $\tfrac{1}{k^2}$ 에르고딕 수렴을 달성한다.
• 원래 및 쌍대 기능 모두가 강한 볼록성을 만족할 경우, 보다 가속화된 변종이 선형 수렴 $\tfrac{1}{\theta^k}$ 을 원래-쌍대 간격에 대해 달성한다.
• 정확한 선형 해법 대신 선형 분할 방법(예: 대칭 Red-Black Gauss–Seidel)의 한 번 또는 몇 번의 반복을 사용하여 조절 기법을 통합함으로써 수렴 속도를 유지한다.
• 에르고딕 수열의 반복값을 사용하여 제한된 원래-쌍대 간격을 평가함으로써 평균화된 반복값에 대해 수렴 속도 경계가 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 기존의 Douglas–Rachford 방법은 강한 볼록성 조건 하에서 $\tfrac{1}{k^2}$ 수렴을 달성할 수 있는가?
• RQ2 쌍대 문제의 원래 및 쌍대 기능이 모두 강한 볼록성을 만족할 경우, 어떤 수렴 속도를 달성할 수 있는가?
• RQ3 가속화된 Douglas–Rachford 방법의 수렴 속도를 떨어뜨리지 않고도 암묵적 선형 단계에 조절 기법을 적용할 수 있는가?
• RQ4 제안된 가속화 및 조절 기법이 대규모 영상 노이즈 제거 작업에서 기존 1차 알고리즘과 수치적으로 어떻게 비교되는가?
• RQ5 실제 응용에서 조절 기법은 수렴 인자와 계산 효율성에 어떤 영향을 미치는가?

주요 결과

• 기능 $\fancyscript{F}$ 또는 $\fancyscript{G}$ 가 강한 볼록성을 만족할 경우, 가속화된 Douglas–Rachford 방법은 원래-쌍대 간격에 대해 $\tfrac{1}{k^2}$ 에르고딕 수렴 속도를 달성한다.
• 기능 $\fancyscript{F}$ 와 $\fancyscript{G}$ 가 모두 강한 볼록성을 만족할 경우, 방법은 $0 < \theta < 1$ 인 $\tfrac{1}{\theta^k}$ 선형 수렴을 에르고딕 원래-쌍대 간격에 대해 달성한다.
• 선형 연립방정식을 조절 기법(예: 대칭 Red-Black Gauss–Seidel 반복)을 통해 정확하지 않은 해법으로 대체하더라도, 가속화된 방법의 수렴 속도는 유지된다.
• $1024 \times 1024$ 영상 노이즈 제거 실험 결과, 조절 기법이 적용된 가속화된 Douglas–Rachford (paDR sc) 방법은 92회의 반복과 0.72초의 CPU 시간으로 수렴하며, 정확도를 유지하면서 ALG3보다 빠른 속도를 보였다.
• 원래-쌍대 간격의 기하적 감소 인자에 있어서 paDR sc와 aDR sc는 ALG3보다 낮아 더 빠른 수렴을 나타내며, 반복 수 기준으로 paDR sc는 ALG3 대비 약 2.5배의 스피드업 요인을 확보했다.
• 특히 메가픽셀 영역의 비미분 가능한 변분 영상 노이즈 제거 문제에서 최신 기술들과 비교해 수렴 속도와 정확도 면에서 경쟁 가능하다.