[논문 리뷰] Conic Optimization via Operator Splitting and Homogeneous Self-Dual Embedding

Brendan O’Donoghue, Eric Chu외 2명|arXiv (Cornell University)|2013. 12. 11.

Advanced Optimization Algorithms Research인용 수 75

한 줄 요약

이 논문은 대규모 볼록 콘 볼록 최적화를 위한 1차 방법을 제시한다. 이 방법은 동차 자기이중 임bedding에 적용된 교대 방향의 증분 다중법(ADMM)을 통해 연산자 분할을 수행하며, 조정 파rameter가 없이 동시에 원래 문제와 이중 문제의 해 또는 비가능성 증거를 계산한다. 내부점 방법이 확장성 한계로 인해 실패하는 대규모 문제에서도 빠른 수렴을 달성한다.

ABSTRACT

We introduce a first order method for solving very large convex cone programs. The method uses an operator splitting method, the alternating directions method of multipliers, to solve the homogeneous self-dual embedding, an equivalent feasibility problem involving finding a nonzero point in the intersection of a subspace and a cone. This approach has several favorable properties. Compared to interior-point methods, first-order methods scale to very large problems, at the cost of requiring more time to reach very high accuracy. Compared to other first-order methods for cone programs, our approach finds both primal and dual solutions when available or a certificate of infeasibility or unboundedness otherwise, is parameter-free, and the per-iteration cost of the method is the same as applying a splitting method to the primal or dual alone. We discuss efficient implementation of the method in detail, including direct and indirect methods for computing projection onto the subspace, scaling the original problem data, and stopping criteria. We describe an open-source implementation, which handles the usual (symmetric) non-negative, second-order, and semidefinite cones as well as the (non-self-dual) exponential and power cones and their duals. We report numerical results that show speedups over interior-point cone solvers for large problems, and scaling to very large general cone programs.

연구 동기 및 목표

• 내부점 방법이 다룰 수 없는 매우 큰 문제까지도 다룰 수 있는 확장 가능한 1차 최적화 방법을 개발하는 것.
• 가능성이 있는 경우 원래 문제와 이중 문제의 해를 제공하고, 그렇지 않은 경우 비가능성 또는 무한대 문제의 증거를 요구하지 않고 문제에 특화된 조정 없이 제공하는 것.
• 동차 자기이중 임bedding의 안정성과 1차 연산자 분할, 특히 ADMM의 효율성을 결합하는 것.
• 대칭적이지 않은 콘, 예를 들어 지수 콘과 거듭제곱 콘을 포함한 일반 콘 프로그래밍의 효율적이고 파rameter-free 해법을 제공하는 것.

제안 방법

• 원래-이중 콘 프로그래밍을 동차 자기이중 타당성 문제로 변환하여, 부분공간과 볼록 콘의 교차점에 있는 영이 아닌 점을 찾는다.
• ADMM는 동차 자기이중 임bedding에 적용되며, 부분공간과 콘에 대한 사영과 이중 변수 갱신을 번갈아 수행한다.
• 각 ADMM 반복은 선형 시스템을 풀고 콘에 대한 사영을 포함하며, 사영 단계는 콘 유형(예: 2차 콘, 준정적 콘, 지수 콘 등)에 맞게 조정된다.
• 문제 데이터의 자동 스케일링을 통해 조정 파rameter가 없는 접근법을 사용하여 조건수를 개선하고 수렴 속도를 향상시킨다.
• 자기이중 구조를 활용하여 해 구조를 통해 비가능성 또는 무한대 문제를 자연스럽게 탐지한다.
• 대칭 콘과 비자기이중 콘(지수 콘, 거듭제곱 콘 등)을 모두 지원하는 오픈소스 C 구현체인 SCS를 제공한다.

실험 결과

연구 질문

• RQ1 동차 자기이중 임bedding에 1차 방법을 효과적으로 적용하여 대규모 콘 프로그래밍 문제를 비가능성 탐지 기능과 함께 해결할 수 있는가?
• RQ2 확장성과 해의 정확도 측면에서 이 ADMM 기반 접근법은 내부점 방법보다 어떻게 비교되는가?
• RQ3 사용자 조정 없이도 원래 문제와 이중 문제의 해 또는 비가능성/무한대 문제의 증거를 신뢰성 있게 반환할 수 있는가?
• RQ4 직접 및 간접 선형 해법, 조절 기법 등 효율적인 구현 기법은 대규모 문제에서의 수렴 속도 향상에 어떻게 기여하는가?
• RQ5 지수 콘과 거듭제곱 콘과 같은 비대칭 콘을 포함한 일반 콘 프로그래밍에 대해 이 방법은 얼마나 잘 확장되는가?

주요 결과

• 내부점 솔버 대비 최대 4,300배의 성능 향상을 달성하였으며, SCS는 10^5개 변수의 문제를 몇 초 내에 해결하였다.
• 크기가 10^5인 문제에서 SCS는 0.9초 만에 문제를 해결하고 이중 갭을 2.0×10^{-3}로 유지하였으며, 내부점 방법은 4.3×10^3초가 소요되었다.
• 알고리즘은 비가능성 또는 무한대 문제를 신뢰성 있게 탐지하며, 원래 문제나 이중 문제 중 하나가 비가능할 경우 증거를 제공한다.
• 크기 10^5 이상의 문제까지 확장 가능하며, 지금까지 해결된 가장 큰 일반 콘 프로그래밍 문제에 대한 결과가 보고되었다.
• ADMM 단계당 평균 콘jugate gradient 반복 수는 약 4.7~6.1로 안정되어 있어 선형 시스템 해법의 효율성을 보여준다.
• 알고리즘은 파rameter-free이며 문제 데이터를 자동으로 스케일링하여 안정성과 수렴 속도를 향상시킨다.