[논문 리뷰] A new primal-dual algorithm for minimizing the sum of three functions with a linear operator

Ming Yan|arXiv (Cornell University)|2016. 11. 29.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 5

한 줄 요약

이 논문은 선형 연산자를 포함한 세 개의 볼록 함수의 합을 최소화하기 위한 새로운 원시-이중 알고리즘 PD3O를 제안한다. 기존의 Chambolle-Pock 및 PAPC와 같은 방법을 확장하며, O(1/k)의 에르고딕 수렴 속도를 달성하고, 더 넓은 수렴 매개변수 범위와 낮은 반복당 비용을 제공한다. 융합 라소 및 이미지 복원 문제에 대한 수치 실험을 통해 검증되었다.

ABSTRACT

In this paper, we propose a new primal-dual algorithm for minimizing $f(x) + g(x) + h(Ax)$, where $f$, $g$, and $h$ are proper lower semi-continuous convex functions, $f$ is differentiable with a Lipschitz continuous gradient, and $A$ is a bounded linear operator. The proposed algorithm has some famous primal-dual algorithms for minimizing the sum of two functions as special cases. E.g., it reduces to the Chambolle-Pock algorithm when $f = 0$ and the proximal alternating predictor-corrector when $g = 0$. For the general convex case, we prove the convergence of this new algorithm in terms of the distance to a fixed point by showing that the iteration is a nonexpansive operator. In addition, we prove the $O(1/k)$ ergodic convergence rate in the primal-dual gap. With additional assumptions, we derive the linear convergence rate in terms of the distance to the fixed point. Comparing to other primal-dual algorithms for solving the same problem, this algorithm extends the range of acceptable parameters to ensure its convergence and has a smaller per-iteration cost. The numerical experiments show the efficiency of this algorithm.

연구 동기 및 목표

• 선형 연산자를 포함한 세 볼록 함수의 합을 최소화하기 위한 새로운 원시-이중 알고리즘을 개발한다. 이는 기존의 두 함수 방법을 일반화한다.
• 기존의 세 연산자 원시-이중 알고리즘에 비해 수렴을 보장하는 매개변수의 범위를 확장한다.
• 수렴 보장을 유지하면서도 반복당 계산 비용을 줄인다.
• 일반적인 볼록 경우에서 원시-이중 갭에 대해 O(1/k)의 에르고딕 수렴 속도를 확보한다.
• 융합 라소 및 이미지 복원 문제에 대한 수치 실험을 통해 알고리즘의 효율성과 강건성을 입증한다.

제안 방법

• 수렴는 단조 연산자 이론을 통해 보장하는 비확장 연산자에 대한 고정점 반복을 이용해 알고리즘을 유도한다.
• 세 개의 프록시 매핑을 포함한다: f(리프시츠 연속 기울기를 가지는 미분 가능 함수), g(프록시 매핑), h(프록시 매핑), 여기서 선형 연산자 A가 x에 적용된다.
• 원시 및 이중 변수의 교대 갱신을 포함하는 원시-이중 분할 기반 알고리즘으로, 이완 매개변수를 통합한다.
• f=0일 때 Chambolle-Pock으로, g=0일 때 PAPC로 간주되어, 이는 두 방법을 일반화함을 보여준다.
• 비용이 많이 드는 행렬 역행렬 계산을 피하고 효율적인 프록시 계산을 활용함으로써 반복당 비용을 낮춘다.
• 수렴 분석은 반복이 비확장 연산자임을 증명하고, 추가적인 가정 하에 선형 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 선형 연산자를 포함한 세 볼록 함수의 합을 최소화할 수 있는 새로운 원시-이중 알고리즘을 설계할 수 있는가? 이는 기존의 두 함수 방법을 일반화한다.
• RQ2 이러한 세 연산자 원시-이중 스킴에서 수렴을 보장하는 매개변수의 범위는 무엇인가?
• RQ3 새로운 알고리즘의 반복당 계산 비용은 기존의 세 연산자 원시-이중 방법과 비교해 어떻게 되는가?
• RQ4 일반적인 볼록 경우에서 새로운 알고리즘의 수렴 속도는 어떤가?
• RQ5 융합 라소 및 다중 정규화를 포함한 실제 문제에 대해 알고리즘이 효율적으로 적용될 수 있는가?

주요 결과

• 제안된 PD3O 알고리즘은 일반적인 볼록 경우에서 원시-이중 갭에 대해 O(1/k)의 에르고딕 수렴 속도를 달성한다.
• Condat-Vu, AFBA, PDFP와 같은 기존 방법에 비해 더 넓은 매개변수 범위에서 수렴을 보장한다.
• PDFP보다 반복당 계산 비용이 낮으며, 추가 프록시 매핑을 피하기 때문이다.
• 수치 실험 결과, 특히 더 큰 스텝 사이즈 매개변수를 사용할 경우, Condat-Vu, AFBA, PDFP보다 PD3O가 더 빨리 수렴한다.
• λ를 1/8에서 1/4로 증가시킬 경우, 수렴 성능 향상이 없고 약 2000회 반복 이후 성능이 악화됨을 확인하여 매개변수 선택의 상충 관계를 시사한다.
• A=I이고 특정 매개변수를 선택할 경우, 알고리즘이 Davis-Yin의 세 연산자 분할로 간주되며, 기존 알고리즘과의 일致성을 확인한다.