[논문 리뷰] Inertial primal-dual algorithms for structured convex optimization

Raymond H. Chan, Shiqian Ma외 1명|arXiv (Cornell University)|2014. 09. 10.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 8

한 줄 요약

이 논문은 Chambolle-Pock의 원시-이중 알고리즘(CPA)에 외삽 단계를 통합하여 구조적 볼록 최적화를 위한 관성 원시-이중 알고리즘(iCPAs)을 제안한다. CPAs가 적절한 초기화 조건 하에서 선형화된 ADMM와 동치임을 규명하고, 전역 수렴성을 입증하며, 비점근적 $O(1/k)$ 및 점근적 $o(1/k)$ 수렴 속도를 확보한다. 총변동 기반 영상 복원에 대한 실험 결과, 계산 비용을 증가시키지 않고도 수렴 속도가 향상됨을 보였다.

ABSTRACT

The primal-dual algorithm recently proposed by Chambolle & Pock (abbreviated as CPA) for structured convex optimization is very efficient and popular. It was shown by Chambolle & Pock in \cite{CP11} and also by Shefi & Teboulle in \cite{ST14} that CPA and variants are closely related to preconditioned versions of the popular alternating direction method of multipliers (abbreviated as ADM). In this paper, we further clarify this connection and show that CPAs generate exactly the same sequence of points with the so-called linearized ADM (abbreviated as LADM) applied to either the primal problem or its Lagrangian dual, depending on different updating orders of the primal and the dual variables in CPAs, as long as the initial points for the LADM are properly chosen. The dependence on initial points for LADM can be relaxed by focusing on cyclically equivalent forms of the algorithms. Furthermore, by utilizing the fact that CPAs are applications of a general weighted proximal point method to the mixed variational inequality formulation of the KKT system, where the weighting matrix is positive definite under a parameter condition, we are able to propose and analyze inertial variants of CPAs. Under certain conditions, global point-convergence, nonasymptotic $O(1/k)$ and asymptotic $o(1/k)$ convergence rate of the proposed inertial CPAs can be guaranteed, where $k$ denotes the iteration index. Finally, we demonstrate the profits gained by introducing the inertial extrapolation step via experimental results on compressive image reconstruction based on total variation minimization.

연구 동기 및 목표

• 구조적 볼록 최적화 문제를 해결하는 데 있어 원시-이중 알고리즘(CPA)과 선형화된 ADMM(LADM) 간의 동치성을 규명하는 것.
• KKT 시스템에 가중치가 부여된 근접점법을 적용하여 CPA의 관성 변형을 개발하는 것.
• 제안된 관성 CPAs에 대해 전역 수렴성과 비점근적 $O(1/k)$ 및 점근적 $o(1/k)$ 수렴 속도를 확립하는 것.
• 영상 복원 작업과 같은 실용적 응용에서 관성 외삽이 수렴 속도를 어떻게 가속화하는지 보여주는 것.
• 관성 매개변수의 영향을 조사하고 안정적이고 효율적인 성능을 위한 전략을 제안하는 것.

제안 방법

• KKT 시스템에서 유도된 혼합 변분부등식으로 원시-이중 문제를 수립한다.
• 조건을 만족하는 양의 정부호 가중치 행렬을 사용하여 KKT 시스템에 일반적인 가중치가 부여된 근접점법(PPM)을 적용한다.
• 비감소적이며 $1/3$ 이하로 상한이 설정된 수열 $\alpha_k$를 사용하여 CPA 프레임워크에 관성 외삽 단계를 도입한다.
• 초기점 선택에 대한 의존도를 줄이기 위해 알고리즘의 순환적 등가 형태를 유도한다.
• 모어오의 분해를 활용하여 원시 및 이중 함수의 근접 연산자를 효율적으로 계산한다.
• 선형화된 ADMM 공식을 이중적 해석으로 사용하여, 적절한 초기화 조건 하에서 정확한 수열 동치성을 보여준다.

실험 결과

연구 질문

• RQ1 구조적 볼록 최적화 문제를 해결하는 데 있어 Chambolle-Pock 원시-이중 알고리즘과 선형화된 ADMM는 어떻게 관련이 있는가?
• RQ2 수렴성을 유지하면서 관성 외삽을 원시-이중 알고리즘에 체계적으로 통합할 수 있는가?
• RQ3 특정 매개변수 조건 하에서 관성 원시-이중 알고리즘의 수렴 속도는 어떤가?
• RQ4 관성 단계는 총변동 기반 영상 복원과 같은 실용적 응용에서 성능을 어떻게 향상시키는가?
• RQ5 안정성과 가속화를 보장하기 위해 관성 매개변수 $\alpha_k$를 선택하기 위한 최적의 전략은 무엇인가?

주요 결과

• 적절한 초기점 선택 조건 하에서 Chambolle-Pock 원시-이중 알고리즘(CPA)과 선형화된 ADMM(LADM)은 동일한 반복값을 생성하며, 강력한 동치성을 입증한다.
• 관성 원시-이중 알고리즘(iCPA)은 조건 $0 \leq \alpha_k \leq \alpha_{k+1} \leq \alpha < 1/3$ 하에서 전역 점 수렴성을 확보한다.
• 제안된 iCPA는 비점근적 수렴 속도 $O(1/k)$와 점근적 수렴 속도 $o(1/k)$를 확보하며, 이는 관성 방법에 대해 새로운 결과이다.
• 총변동 최소화를 통한 압축 영상 복원에서, iCPA는 표준 CPA보다 주어진 정밀도에 도달하기 위한 반복 횟수를 줄였다.
• $\varepsilon = 10^{-4}$일 때, 정밀도 허용 오차가 강화됨에 따라 평균 반복 횟수는 수십 번에서 약 1,000회로 증가했으며, iCPA는 항상 CPA를 능가하는 성능를 보였다.
• 고정된 관성 매개변수를 사용할 경우(예: $\alpha = 0.35$) 성능이 향상되지만, $0.3$를 초과하는 값은 특히 측정 수가 적을 경우 불안정성을 유발할 수 있다.