[논문 리뷰] Operator Splitting for Conic Optimization via Homogeneous Self-Dual Embedding

Brendan O’Donoghue, Eric Chu외 2명|arXiv (Cornell University)|2013. 12. 11.

Advanced Optimization Algorithms Research인용 수 30

한 줄 요약

이 논문은 대규모 볼록 콘 프로그래밍을 해결하기 위해 동차 자기쌍대 임bedding 기반의 일阶 연산자 분할 방법을 제안한다. 문제를 타당성 문제로 재구성하고, 교대 방향의 분할 방법(Multipliers)을 적용함으로써, 동시에 원래 문제와 이중 문제의 해 또는 타당성 불가능성/무boundness 증거를 계산할 수 있으며, 파rameter가 없고, 전통적인 일阶 방법보다 반복당 비용이 낮아 매우 큰 문제에 효율적으로 스케일링된다.

ABSTRACT

We introduce a first order method for solving very large convex cone programs. The method uses an operator splitting method, the alternating directions method of multipliers, to solve the homogeneous self-dual embedding, an equivalent feasibility problem involving finding a nonzero point in the intersection of a subspace and a cone. This approach has several favorable properties. Compared to interior-point methods, first-order methods scale to very large problems, at the cost of requiring more time to reach very high accuracy. Compared to other first-order methods for cone programs, our approach finds both primal and dual solutions when available or a certificate of infeasibility or unboundedness otherwise, is parameter-free, and the per-iteration cost of the method is the same as applying a splitting method to the primal or dual alone. We discuss efficient implementation of the method in detail, including direct and indirect methods for computing projection onto the subspace, scaling the original problem data, and stopping criteria. We describe an open-source implementation, which handles the usual (symmetric) non-negative, second-order, and semidefinite cones as well as the (non-self-dual) exponential and power cones and their duals. We report numerical results that show speedups over interior-point cone solvers for large problems, and scaling to very large general cone programs.

연구 동기 및 목표

• 대규모 볼록 콘 프로그래밍에 대해 내부점 방법의 확장성 한계를 해결하기 위해.
• 동시에 원래 문제와 이중 문제의 해 또는 타당성 불가능성/무boundness 증거를 제공하는 일阶 방법을 개발하기 위해.
• 해법이 파rameter가 없고, 반복당 계산 비용이 낮게 유지되도록 보장하기 위해.
• 비음수, 제2차원, 준정적, 지수, 거듭제곱 콘을 포함한 문제들을 효율적으로 해결할 수 있도록 하기 위해.

제안 방법

• 콘 프로그래밍을 동차 자기쌍대 임베딩으로 재구성하여, 부분공간과 콘의 교차에서의 타당성 문제로 변환한다.
• 해당 임베딩된 타당성 문제를 해결하기 위해 교대 방향의 분할 방법(ADMM)을 적용한다.
• 문제의 구조에 따라 직접 또는 반복 방법을 사용하여 부분공간 위로의 사영을 계산한다.
• 수렴을 가속화하고 조건수를 향상시키기 위해 문제 데이터를 스케일링한다.
• 정지 기준은 동차 자기쌍대 해에서 유도된 원래 문제와 이중 문제의 타당성 불가능성 측도에 기반한다.
• 오픈소스 구현은 대칭 콘(예: 제2차원, 준정적)과 비자기쌍대 콘(예: 지수, 거듭제곱) 및 그 이중을 지원한다.

실험 결과

연구 질문

• RQ1 대규모 콘 프로그래밍을 효율적으로 해결하면서 정확성과 강건성을 유지할 수 있는 일阶 방법을 설계할 수 있는가?
• RQ2 한 번의 알고리즘으로 동시에 원래 문제와 이중 문제의 해 또는 타당성 불가능성/무boundness 증거를 복구할 수 있는가?
• RQ3 데이터 스케일링과 사영 계산의 영향이 해법의 수렴성과 성능에 미치는 영향은 무엇인가?
• RQ4 실제로 대규모 문제에서 내부점 솔버와 비교해 볼 때 해법의 성능는 어떠한가?
• RQ5 지수 및 거듭제곱 콘과 같은 비자기쌍대 콘에 대해 이 해법을 효율적으로 구현할 수 있는가?

주요 결과

• 이 방법은 대규모 콘 프로그래밍에서 내부점 솔버보다 뚜렷한 속도 향상을 보이며, 우수한 확장성을 입증한다.
• 타당한 경우 원래 문제와 이중 문제의 해를 성공적으로 계산하거나, 해당하는 경우 타당성 불가능성/무boundness 증거를 제공한다.
• 반복당 비용은 원래 문제 또는 이중 문제에 대해 분할 방법을 적용하는 것과 동일하여 계산적으로 효율적이다.
• 해법은 파rameter가 없어 스텝 사이즈와 같은 조정 파rameter가 필요하지 않다.
• 수치 결과는 비자기쌍대 콘인 지수 및 거듭제곱 콘을 포함한 다양한 콘 유형에서 강건한 성능을 확인한다.
• 오픈소스 구현은 광범위한 콘 유형을 지원하며 매우 큰 문제에 대해 효과적으로 스케일링된다.