[논문 리뷰] A Primal-Dual Parallel Method with $O(1/ε)$ Convergence for Constrained Composite Convex Programs

Hao Yu, Michael J. Neely|arXiv (Cornell University)|2017. 07. 30.

Advanced Optimization Algorithms Research참고 문헌 5인용 수 6

한 줄 요약

이 논문은 제약 조건이 있는 복합 볼록 프로그래밍을 위한 새로운 원시-이중 병렬 알고리즘을 제안하며, 각 반복의 복잡도가 낮고 $O(1/\epsilon)$ 수렴 속도를 달성한다. 이전 방법들과 달리 복잡한 하위문제 해결이 필요로 하지 않으며, 최적의 라그랑주 승수에 대한 의존도를 피하는 새로운 매개수 규칙을 통해 각 반복을 독립적이고 병렬화 가능한 업데이트로 분해함으로써, 비분리 문제의 대규모 효율적 해법을 가능하게 한다.

ABSTRACT

This paper considers large scale constrained convex (possibly composite and non-separable) programs, which are usually difficult to solve by interior point methods or other Newton-type methods due to the non-smoothness or the prohibitive computation and storage complexity for Hessians and matrix inversions. Instead, they are often solved by first order gradient based methods or decomposition based methods. The conventional primal-dual subgradient method, also known as the Arrow-Hurwicz-Uzawa subgradient method, is a low complexity algorithm with an $O(1/ε^2)$ convergence time. Recently, a new Lagrangian dual type algorithm with a faster $O(1/ε)$ convergence time is proposed in Yu and Neely (2017). However, if the objective or constraint functions are not separable, each iteration of the Lagrangian dual type method in Yu and Neely (2017) requires to solve a unconstrained convex program, which can have huge complexity. This paper proposes a new primal-dual type algorithm with $O(1/ε)$ convergence for general constrained convex programs. Each iteration of the new algorithm can be implemented in parallel with low complexity even when the original problem is composite and non-separable.

연구 동기 및 목표

• 내부점 방법이 헤시안 행렬 계산 및 저장 비용이 높아 대규모 제약 조건이 있는 복합 볼록 프로그래밍 문제에 대해 적용이 불가능한 상황에서의 문제 해결에 대응한다.
• 각 반복에서 복잡한 하위문제를 해결하지 않고도 $O(1/\epsilon)$ 수렴 속도를 갖는 일阶 원시-이중 방법을 개발한다.
• 목적 함수나 제약 조건 함수가 비분리일 경우에도 병렬 처리 및 낮은 복잡도로 구현이 가능하도록 한다.
• 알고리즘의 매개수 규칙에서 최적의 라그랑주 승수에 대한 의존도를 제거함으로써, 알고리즘의 강건성과 실용성을 향상시킨다.
• 비분리 문제에 대해 기존의 원시-이중 및 이중 서브기울기 방법보다 수렴 속도와 각 반복의 효율성 면에서 뛰어난 성능을 발휘한다.

제안 방법

• 최적의 라그랑주 승수에 대한 지식이 필요로 하지 않는 새로운 매개수 규칙을 가진 원시-이중 알고리즘을 도입한다.
• 부드럽고 분리 가능한 비부드러운 부분으로 구성된 복합 함수의 구조를 활용하여 각 반복을 독립적이고 병렬화 가능한 하위문제로 분해한다.
• 제약 함수의 하위기울기를 기반으로 이중 변수를 업데이트하고, 원시 변수 업데이트에서는 비부드러운 성분에 대한 프록시 옵션을 사용한다.
• 수렴 분석을 위해 리아푸노프 함수를 활용하여 최적성 및 타당성 갭 모두에 대해 $O(1/\epsilon)$ 수렴을 증명한다.
• 강한 이중성과 리프시츠 연속성 가정에서 유도된 적응형 단계 크기를 갖는 수정된 이중 상승 기반의 방법을 적용한다.
• 제약 집합 $\mathcal{X}$ 위로의 투영을 통해 타당성을 유지하고, 유계 이중 변수 업데이트를 사용함으로써 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 비분리된 목적 함수나 제약 조건을 가진 일반적인 제약 조건이 있는 복합 볼록 프로그래밍에 대해, 최적의 라그랑주 승수에 대한 사전 지식 없이도 원시-이중 방법이 $O(1/\epsilon)$ 수렴 속도를 달성할 수 있는가?
• RQ2 부드러운 성분이 비분리일 경우에도, 이러한 방법이 비분리 문제에 대해 병렬 처리가 가능하고 각 반복의 복잡도가 낮게 유지될 수 있는가?
• RQ3 최적의 라그랑주 승수에 대한 사전 지식 없이도 알고리즘의 수렴을 보장할 수 있는가?
• RQ4 기존의 원시-이중 및 이중 서브기울기 방법과 비교해 볼 때, 비분리 문제에서 이 새로운 방법의 속도와 확장성은 어떠한가?
• RQ5 비용이 많이 드는 헤시안 행렬 계산이나 행렬 역행렬 계산을 피하면서도 빠른 수렴을 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 최적성과 타당성 모두에 대해 $O(1/\epsilon)$ 수렴 속도를 달성하며, 최근의 병렬 알고리즘에서의 최고 수준의 속도를 보장한다.
• 각 반복이 독립적이고 병렬화 가능한 업데이트로 분해되어 대규모 문제에 대한 효율적인 구현이 가능하다.
• l_2 노름 제약 조건이 있는 최소 분산 포트폴리오 문제에서, 새로운 알고리즘은 기준 방법 대비 반복당 180배 빠르다.
• l_1 노름 제약 조건이 있는 포트폴리오 문제에서, 새로운 알고리즘은 기준 방법 대비 반복당 1,800배 빠르다.
• 이전의 병렬 방법들이 이러한 경우에 병렬성이 손실되는 것과 달리, 목적 함수나 제약 함수가 비분리일 경우에도 빠른 수렴을 유지한다.
• 알고리즘의 성능은 기존 알고리즘과 유사하게 강건하며, 각 반복의 계산 비용이 크게 감소된 특징을 지닌다.