[논문 리뷰] A Primal-dual Three-operator Splitting Scheme

Ming Yan|arXiv (Cornell University)|2016. 11. 29.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 2

한 줄 요약

이 논문은 미분 가능하고 리프시츠 연속 그라디언트를 가진 항과 선형으로 변환된 항을 포함하는 세 개의 볼록 함수의 합을 최소화하기 위한 새로운 원시-쌍대 삼연산자 분할 방법을 제안한다. 이 알고리즘은 원시-쌍대 갭에서 O(1/k)의 에르고딕 수렴 속도를 달성하며, 추가적인 가정 하에 선형 수렴을 보이며, 기존 방법들보다 더 넓은 매개변수 수용 범위와 더 낮은 반복당 계산 비용을 갖는다.

ABSTRACT

In this paper, we propose a new primal-dual algorithm for minimizing $f(x) + g(x) + h(Ax)$, where $f$, $g$, and $h$ are proper lower semi-continuous convex functions, $f$ is differentiable with a Lipschitz continuous gradient, and $A$ is a bounded linear operator. The proposed algorithm has some famous primal-dual algorithms for minimizing the sum of two functions as special cases. E.g., it reduces to the Chambolle-Pock algorithm when $f = 0$ and the proximal alternating predictor-corrector when $g = 0$. For the general convex case, we prove the convergence of this new algorithm in terms of the distance to a fixed point by showing that the iteration is a nonexpansive operator. In addition, we prove the $O(1/k)$ ergodic convergence rate in the primal-dual gap. With additional assumptions, we derive the linear convergence rate in terms of the distance to the fixed point. Comparing to other primal-dual algorithms for solving the same problem, this algorithm extends the range of acceptable parameters to ensure its convergence and has a smaller per-iteration cost. The numerical experiments show the efficiency of this algorithm.

연구 동기 및 목표

• f(x) + g(x) + h(Ax)를 최소화하기 위한 새로운 원시-쌍대 알고리즘을 개발하는 것. 여기서 f, g, h는 모두 볼록 함수이며, f는 리프시츠 연속 그라디언트를 갖는다.
• 기존 원시-쌍대 방법들에 비해 수렴에 대해 허용 가능한 매개변수의 범위를 넓히는 것.
• 수렴 보장을 유지하면서도 반복당 계산 비용을 줄이는 것.
• Chambolle-Pock 및 프록시멀 교차예측보정 알고리즘과 같은 잘 알려진 알고리즘들을 특수 케이스로 통합하고 일반화하는 것.

제안 방법

• f의 미분 가능성과 g, h의 프록시멀 연산자를 활용하여, 원시-쌍대 전진-후행 분할 프레임워크에 세 개의 연산자 f, g, h(Ax)를 적용한다.
• 고정점까지의 거리를 분석하기 위해 비확장 연산자 형태를 도입한다.
• f에 대해 명시적 그라디언트 단계를, g와 h에 대해 암시적 프록시멀 단계를 사용하여 원시 및 쌍대 변수 간에 번갈아가며 반복 업데이트를 수행한다.
• 행렬 역행렬 계산이 비용이 많이 들지 않도록 선형 연산자 A를 효율적으로 처리하도록 알고리즘을 설계한다.
• 에르고딕 평균 전략을 사용하여 원시-쌍대 갭에서 O(1/k) 수렴 속도를 확보한다.
• 수렴 분석은 단조 연산자 이론과 비확장 사상의 성질에 기반한다.

실험 결과

연구 질문

• RQ1 Chambolle-Pock 및 프록시멀 교차예측보정과 같은 기존의 이항자 방법을 일반화하는 통합된 원시-쌍대 알고리즘을 개발할 수 있는가?
• RQ2 일반 볼록 케이스에서 제안된 삼연산자 분할 방법의 수렴 조건은 무엇인가?
• RQ3 특히 에르고딕 및 비에르고딕 수렴 측면에서, 이 알고리즘의 수렴 속도는 기존 방법들과 비교해 어떻게 되는가?
• RQ4 알고리즘 매개변수의 영향은 무엇이며, 수용 가능한 매개변수 범위를 넓힐 수 있는가?
• RQ5 강한 볼록성 또는 오차 경계 조건과 같은 더 강한 가정 하에 알고리즘이 선형 수렴을 달성하는가?

주요 결과

• 제안된 알고리즘은 반복이 비확장 연산자이므로 고정점까지의 거리 측면에서 수렴한다.
• 일반 볼록 케이스에서 원시-쌍대 갭에 대해 O(1/k)의 에르고딕 수렴 속도가 증명된다.
• 강한 볼록성 또는 오차 경계와 같은 추가 가정 하에 선형 수렴이 확립된다.
• 기존 원시-쌍대 방법들보다 더 넓은 매개변수 범위를 허용하여 강건성을 향상시킨다.
• 선형 연산자 A를 효율적으로 처리함으로써, 경쟁 알고리즘들보다 반복당 계산 비용이 낮다.
• 수치 실험을 통해 알고리즘의 효율성과 수렴 속도 및 강건성 면에서의 우수함을 확인하였다.