[논문 리뷰] The primal-dual hybrid gradient method reduces to a primal method for linearly constrained optimization problems

Yura Malitsky|arXiv (Cornell University)|2017. 06. 08.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 선형 제약 조건이 붙은 볼록 최적화 문제에 대한 원시-이중 하이브리드 경사도(PDHG) 방법이 이중 변수가 필요 없이 순수한 원시 알고리즘으로 재구성될 수 있음을 보여준다. 주요 기여는 기존 분석이 실패하는 열악한 경우—예를 들어 타당하지 않은 문제이거나 강한 이중성 조건이 성립하지 않을 경우—에서도 원시 반복값에 대해 $O(1/k^2)$ 수렴 속도를 확립한 새로운 수렴 분석이다. 이는 또한 한 번의 반복에 한 번의 통신만을 요구하는 더 효율적인 분산 분산 최적화를 가능하게 한다.

ABSTRACT

In this work, we show that for linearly constrained optimization problems the primal-dual hybrid gradient algorithm, analyzed by Chambolle and Pock [3], can be written as an entirely primal algorithm. This allows us to prove convergence of the iterates even in the degenerate cases when the linear system is inconsistent or when the strong duality does not hold. We also obtain new convergence rates which seem to improve existing ones in the literature. For a decentralized distributed optimization we show that the new scheme is much more efficient than the original one.

연구 동기 및 목표

• 표준 분석이 실패하는 열악한 경우—예를 들어 타당하지 않은 문제이거나 안장점이 존재하지 않을 경우—에서 PDHG 방법의 수렴 행동을 해결하기 위해.
• 이중 변수 $y^k$를 제거하여 PDHG 알고리즘을 순수한 원시 방법으로 재구성함으로써 구현을 단순화하고 메모리 사용량을 줄이기 위해.
• 이전에 알려진 조건보다 더 넓은 조건 하에서 원시 반복값에 대해 향상된 수렴 속도—특히 $O(1/k^2)$—를 확립하기 위해.
• 원래 PDHG와 비교해 통신 횟수를 한 번으로 줄여 한 번의 반복에 한 번의 통신만을 요구함으로써 더 효율적인 분산 분산 최적화를 가능하게 하기 위해.
• 알고리즘 구조를 단순화함으로써 향후 확장(예: 좌표 기반 변형)을 위한 기반을 마련하기 위해.

제안 방법

• 이중 변수 $y^k$를 제거하여 알고리즘 (3)을 순수한 원시 방법으로 재구성함으로써, 원시 반복값 $x^k$에만 의존하는 체계를 도출한다.
• 안장점의 존재가 필요 없이도 수렴 속도를 도출할 수 있도록 리아푸노프 함수와 에너지 감소 추론 기반의 새로운 분석 프레임워크를 사용한다.
• 수렴과 속도 추정을 보장하기 위해 재귀 관계를 만족하는 수열 $\sigma_k$, $\tau_k$, 및 $\Sigma_k$를 도입한다.
• 코사인 법칙과 프록시 부등식을 적용하여 최적해와의 거리와 목적함수 갭을 제한하는 재귀 부등식을 유도한다.
• 문제가 타당하지 않거나 강한 이중성이 성립하지 않을 경우에도 원시 반복값 $x^k$가 해에 수렴함을 보여 수렴성을 확립한다.
• 강한 볼록성 조건 하에서 목적함수 갭 $f(x^k) - f_*$가 $O(1/k^2)$ 수렴 속도를 달성하며, 강한 이중성이 성립할 경우 $O(1/k^4)$ 수렴 속도를 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 선형 제약 조건이 붙은 최적화 문제가 타당하지 않을 경우 PDHG 반복값은 어떻게 되는가?
• RQ2 관련 안장점 문제에서 안장점이 존재하지 않을 경우 PDHG 반복값은 어떻게 되는가?
• RQ3 PDHG 알고리즘이 이중 변수에 의존하지 않고 순수한 원시 방법으로 재구성될 수 있는가?
• RQ4 표준 분석이 실패하는 열악한 경우에서 PDHG의 향상된 수렴 속도를 확립할 수 있는가?
• RQ5 기존 PDHG와 비교해 새로운 순수 원시 체계가 분산 분산 최적화에서 어떻게 성능을 발휘하는가?

주요 결과

• 선형 제약 조건이 붙은 문제에 대한 PDHG 방법은 이중 변수가 필요 없이 순수한 원시 알고리즘으로 완전히 재구성될 수 있으며, 이는 구현을 단순화한다.
• 문제가 타당하지 않거나 강한 이중성이 성립하지 않을 경우에도 새로운 원시 체계는 해에 수렴하며, PDHG의 적용 가능 범위를 기존 가정을 초월해 확장한다.
• 강한 볼록성 조건 하에서 원시 반복값은 $O(1/k^2)$ 수렴 속도를 보이며, 이는 기존의 $O(1/k)$ 평균 수렴 속도보다 향상된 것이다.
• 강한 이중성이 성립할 경우 목적함수 갭 $f(x^k) - f_*$는 $O(1/k^4)$ 수렴 속도를 보이며, 이는 기존 결과보다 훨씬 빠른 것이다.
• 강한 이중성이 성립하지 않을 경우에도 원시 반복값은 $O(1/k^2)$ 수렴 속도를 보이며, $|g(x^k) - g_*| = O(1/k^2)$를 만족한다.
• 분산 분산 최적화 환경에서는 새로운 체계가 한 번의 반복에 한 번의 통신만을 요구하여 원래 PDHG보다 더 효율적이다.