[논문 리뷰] An asymptotically superlinearly convergent semismooth Newton augmented Lagrangian method for Linear Programming

Xudong Li, Defeng Sun외 1명|arXiv (Cornell University)|2019. 03. 22.

Advanced Optimization Algorithms Research참고 문헌 42인용 수 5

한 줄 요약

이 논문은 조밀하거나 악조건인 제약 행렬을 가진 대규모 선형계획문(LP) 문제를 위한, 반스무스 뉴턴 기반의 비정확한 프록시멀 증가 라그랑주 방법인 Snipal을 제안한다. 반스무스 뉴턴 시스템을 반복 방법으로 풀어 잘 조절된 조건 수를 확보함으로써, Snipal은 渐진적으로 초선형 수렴과 유한 종료를 달성하며, 조밀한 LP 문제 예를 들어 상관관계 클러스터링 문제에서 Gurobi의 바리에이션 방법보다 최대 100배 빠르게 성능을 냈다.

ABSTRACT

Powerful interior-point methods (IPM) based commercial solvers, such as Gurobi and Mosek, have been hugely successful in solving large-scale linear programming (LP) problems. The high efficiency of these solvers depends critically on the sparsity of the problem data and advanced matrix factorization techniques. For a large scale LP problem with data matrix $A$ that is dense (possibly structured) or whose corresponding normal matrix $AA^T$ has a dense Cholesky factor (even with re-ordering), these solvers may require excessive computational cost and/or extremely heavy memory usage in each interior-point iteration. Unfortunately, the natural remedy, i.e., the use of iterative methods based IPM solvers, although can avoid the explicit computation of the coefficient matrix and its factorization, is not practically viable due to the inherent extreme ill-conditioning of the large scale normal equation arising in each interior-point iteration. To provide a better alternative choice for solving large scale LPs with dense data or requiring expensive factorization of its normal equation, we propose a semismooth Newton based inexact proximal augmented Lagrangian ({\sc Snipal}) method. Different from classical IPMs, in each iteration of {\sc Snipal}, iterative methods can efficiently be used to solve simpler yet better conditioned semismooth Newton linear systems. Moreover, {\sc Snipal} not only enjoys a fast asymptotic superlinear convergence but is also proven to enjoy a finite termination property. Numerical comparisons with Gurobi have demonstrated encouraging potential of {\sc Snipal} for handling large-scale LP problems where the constraint matrix $A$ has a dense representation or $AA^T$ has a dense factorization even with an appropriate re-ordering.

연구 동기 및 목표

• 조밀하거나 악조건인 제약 행렬을 가진 대규모 LP 문제에서 내부점 방법(IPMs)의 계산 비효율성을 해결하기 위해.
• 비희소 코レス키 분해가 비용이 많이 들고 반복적 해법을 효과적으로 활용할 수 있는, IPMs의 확장 가능한 대안을 개발하기 위해.
• 악조건성에 대비해 수치적 안정성을 유지하면서도 빠른 국소 수렴과 유한 종료를 보장하기 위해.
• 제약 행렬 A가 명시적으로 저장되지 않고 선형 사상에 의해 정의되는 문제에 대해서도 효율적으로 적용 가능하게 하기 위해.
• 특정 유형의 조밀한 LP 문제에서 상업용 IPM 솔버인 Gurobi에 비해 실용적으로 뛰어난 성능을 입증하기 위해.

제안 방법

• 내부 하위문제를 반스무스 뉴턴 방법으로 푸는 비정확한 프록시멀 증가 라그랑주 프레임워크를 제안한다.
• IPM의 정규방정식보다 훨씬 더 잘 조절된 조건 수를 가지는 반스무스 뉴턴 시스템을 도입한다.
• 데이터와 해의 희소성 모두를 활용하여, PCG와 같은 반복적 해법을 통해 반스무스 뉴턴 시스템을 효율적으로 푼다.
• 예조건된 프록시멀 점프 알고리즘과의 연결을 통해 전역 수렴과 국소 점진적 초선형 수렴을 확립한다.
• 각 반복에서 증가 라그랑주 함수의 충분한 감소를 보장하기 위해 선 탐색 전략을 적용한다.
• 이중성 갭 임계값에 의존하지 않고도 정확한 최적성 탐지가 가능한 유한 종료 성질을 적용한다.

실험 결과

연구 질문

• RQ1 반스무스 뉴턴 기반의 증가 라그랑주 방법이 조밀한 데이터를 가진 대규모 LP 문제에서 초선형 수렴을 달성할 수 있는가?
• RQ2 제안된 방법의 반스무스 뉴턴 시스템은 IPM 정규방정식과 달리 일관되게 유계 조건 수를 유지하는가?
• RQ3 개선된 조건 수 덕분에 반복적 해법이 반스무스 뉴턴 시스템을 효과적이고 효율적으로 풀 수 있는가?
• RQ4 정규 행렬이 조밀하거나 악조건인 LP 문제에서 이 방법이 Gurobi와 같은 최첨단 IPM 솔버를 능가하는가?
• RQ5 제약 행렬 A가 명시적으로 저장되지 않고 선형 사상에 의해 정의되는 문제에 이 방법을 적용할 수 있는가?

주요 결과

• Snipal은 일반적으로 많은 증가 라그랑주 방법에서 관찰되는 선형 수렴보다 더 빠른 점진적 초선형 수렴을 달성한다.
• Snipal의 반스무스 뉴턴 시스템은 IPM 정규방정식의 유계가 아닌 조건 수와는 달리 일관되게 유계 조건 수를 가진다.
• 상관관계 클러스터링과 같은 조밀한 LP 문제에서, 상대 KKT 잔여 오차 정확도 1e-8에서 Snipal은 Gurobi의 바리에이션 방법보다 최대 100배 빠르게 작동한다.
• 조밀하거나 구조적 제약 행렬을 가진 대규모 LP 인스턴스의 일부에 대해, Snipal은 Gurobi보다 명백한 계산적 우위를 보였다.
• 이 방법은 이중성 갭 임계값에 의존하지 않고도 정확한 최적성 탐지를 가능하게 하는 유한 종료 성질을 지닌다.
• 표준 희소 LP 테스트 세트에서는 Snipal이 아직 Gurobi의 바리에이션 방법과 경쟁하지 못하며, 특히 희소 코レス키 분해가 효율적인 경우 더욱 그러하다.