[논문 리뷰] A Semismooth Newton Method for Fast, Generic Convex Programming

Alnur Ali, Eric Wong외 1명|arXiv (Cornell University)|2017. 05. 02.

Advanced Optimization Algorithms Research참고 문헌 3인용 수 4

한 줄 요약

이 논문은 이차 수렴성을 달성하기 위해 보조 변수 분할 방법(ADMM)과 반연속 뉴턴 방법을 조합한 빠르고 일반적인 볼록 원뿔 최적화를 위한 솔버인 Newton-ADMM을 소개한다. ADMM 반복을 고정점 방정식으로 재구성하고 비연속 뉴턴 반복을 적용함으로써, 표준 ADMM을 초월한 수렴 가속을 달성하면서도 조정이 적고 타당성 부족 인증 기능을 유지한다.

ABSTRACT

We introduce Newton-ADMM, a method for fast conic optimization. The basic idea is to view the residuals of consecutive iterates generated by the alternating direction method of multipliers (ADMM) as a set of fixed point equations, and then use a nonsmooth Newton method to find a solution; we apply the basic idea to the Splitting Cone Solver (SCS), a state-of-the-art method for solving generic conic optimization problems. We demonstrate theoretically, by extending the theory of semismooth operators, that Newton-ADMM converges rapidly (i.e., quadratically) to a solution; empirically, Newton-ADMM is significantly faster than SCS on a number of problems. The method also has essentially no tuning parameters, generates certificates of primal or dual infeasibility, when appropriate, and can be specialized to solve specific convex problems.

연구 동기 및 목표

• 볼록 원뿔 최적화 문제를 위한 빠르고 확장 가능하며 일반적인 솔버를 개발하기 위해.
• 고정밀도를 달성할 때 표준 ADMM 방법의 느린 수렴성을 극복하기 위해.
• 반연속 뉴턴 방법을 활용해 수렴 속도를 가속시키면서도 ADMM의 강건성과 타당성 부족 탐지 능력을 유지하기 위해.
• 이중성 증명서를 유지하면서 다양한 원뿔 문제 유형에서 작동하는 최소한의 사용자 조정이 필요한 방법을 제공하기 위해.

제안 방법

• ADMM 고정점 반복을 비연속 방정식 시스템으로 재구성하기.
• 고정점 방정식을 해결하기 위해 잘라낸 반연속 뉴턴 방법을 적용하여 초선형 수렴을 가능하게 하기.
• 반연속 연산자 이론을 활용해 정규성 조건 하에서 이차 수렴을 정당화하기.
• 확장 가능성과 타당성 부족 탐지 능력을 유지하기 위해 Splitting Cone Solver(SCS) 프레임워크에 방법을 통합하기.
• 지수 원뿔을 포함한 원뿔 제약 조건에서 발생하는 비연속 연산자에 대한 일반화된 자코비안을 구성하기.
• 메서드가 강건하게 유지되며 선형 탐색이나 광범위한 매개변수 조정이 필요로 하지 않도록 보장하기.

실험 결과

연구 질문

• RQ1 반연속 뉴턴 방법이 일반적인 원뿔 최적화 문제에 대해 ADMM의 수렴 속도를 효과적으로 가속화하는 데 적용될 수 있는가?
• RQ2 이론적으로 예측한 것처럼 제안된 Newton-ADMM 방법이 실질적으로 이차 수렴성을 달성하는가?
• RQ3 기본 SCS 솔버와 비교해 벤치마크 문제에서 Newton-ADMM는 속도와 정확도 측면에서 어떻게 다른가?
• RQ4 실제 응용에서 요구되는 바와 같이, 메서드는 원추 또는 이중 타당성 부족을 신뢰성 있게 탐지할 수 있는가?
• RQ5 표준 ADMM 또는 내부점 방법에 비해 Newton-ADMM는 사용자 조정이 얼마나 줄어들 수 있는가?

주요 결과

• 정규성 조건 하에서 Newton-ADMM는 표준 ADMM의 선형 수렴을 크게 능가하는 이차 수렴성을 달성한다.
• 실험적으로, 선형, 2차원, 그리고 정수형 프로그램을 포함한 다양한 볼록 원뿔 문제에서 SCS보다 Newton-ADMM가 상당히 빠르게 작동한다.
• 메서드는 거의 조정 매개변수를 필요로 하여 다양한 문제 유형에서 사용자 우호적이고 강건하다.
• Newton-ADMM는 원추 또는 이중 타당성 부족의 증명서를 생성할 수 있는 능력을 유지한다. 이는 모델 오류를 진단하는 데 필수적이다.
• 메서드는 특정 볼록 문제를 효율적으로 해결하기 위해 특화시킬 수 있어 그 일반성과 적응 가능성의 우수함을 보여준다.
• 이론적 분석은 반연속 연산자 이론을 원뿔 최적화로 확장하여 메서드의 수렴 행동에 대한 엄밀한 기초를 제공한다.