[논문 리뷰] Practical Large-Scale Linear Programming using Primal-Dual Hybrid Gradient

David Applegate, Mateo Díaz외 5명|arXiv (Cornell University)|2021. 06. 08.

Advanced Optimization Algorithms Research인용 수 16

한 줄 요약

이 논문은 대규모 선형계획 문제를 위한 실용적인 제1종 방법인 PDLP를 소개한다. PDLP는 원시-쌍대 하이브리드 그래디언트(PDHG) 프레임워크를 기반으로 하며, 적응형 재시작, 동적 스텝 사이즈, 대각 예조건화, 사전해결 기법을 포함한 향상 기법을 통합한다. PDLP는 383개의 MIPLIB 2017 인스턴스에서 SCS 대비 최대 6.3배 빠른 속도로 고정밀도 해를 도출하며, 특정 대규모 문제에서 상용 솔버를 능가함으로써 전통적인 LP 워크로드에 제1종 방법의 실현 가능성을 입증한다.

ABSTRACT

We present PDLP, a practical first-order method for linear programming (LP) that can solve to the high levels of accuracy that are expected in traditional LP applications. In addition, it can scale to very large problems because its core operation is matrix-vector multiplications. PDLP is derived by applying the primal-dual hybrid gradient (PDHG) method, popularized by Chambolle and Pock (2011), to a saddle-point formulation of LP. PDLP enhances PDHG for LP by combining several new techniques with older tricks from the literature; the enhancements include diagonal preconditioning, presolving, adaptive step sizes, and adaptive restarting. PDLP improves the state of the art for first-order methods applied to LP. We compare PDLP with SCS, an ADMM-based solver, on a set of 383 LP instances derived from MIPLIB 2017. With a target of $10^{-8}$ relative accuracy and 1 hour time limit, PDLP achieves a 6.3x reduction in the geometric mean of solve times and a 4.6x reduction in the number of instances unsolved (from 227 to 49). Furthermore, we highlight standard benchmark instances and a large-scale application (PageRank) where our open-source prototype of PDLP, written in Julia, outperforms a commercial LP solver.

연구 동기 및 목표

• 이론적 제1종 방법과 실용적 LP 솔버 사이의 성능 격차를 좁히기 위해 PDHG를 실용적 알고리즘 기법으로 향상시키는 것.
• 제1종 방법이 기계학습용 중간 정밀도가 아닌, 전통적 LP 응용에서 요구하는 고정밀도를 달성할 수 있음을 입증하는 것.
• 단지 행렬-벡터 곱 연산만을 사용하여 매우 큰 LP 문제를 다중 코어 CPU, GPU, 분산 시스템에서도 효율적으로 해결할 수 있도록 하는 것.
• 적응형 재시작, 예조건화 등 개별 알고리즘 향상 기법이 전체 성능에 미치는 영향을 분석하기 위해 분해 연구(ablation study)를 수행하는 것.
• PageRank와 같은 실제 응용 및 대규모 문제에서 상용 솔버와 경쟁할 수 있는 제1종 방법의 가능성을 보여주는 것.

제안 방법

• 선형계획 문제를 안장점 문제로 재구성하고, 행렬-벡터 곱 연산에 의존하는 PDHG 방법을 적용함으로써 행렬 분해를 피함.
• 제1종 방법에서 흔히 발생하는 꼬리 효과를 완화하기 위해 이중성 갭과 원시-쌍대 거리 기반의 적응형 재시작을 도입함.
• 문제에 특화된 튜닝 없이 수렴성을 향상시키기 위해 Malitsky-Pock 규칙을 활용한 동적 스텝 사이즈 선택을 적용함.
• Ruiz 및 Pock-Chambolle 스케일링을 통한 대각 예조건화를 적용하여 조건수를 개선하고 수렴 속도를 가속화함.
• 문제 크기를 줄이고 수치적 조건을 개선하기 위해 해답 이전에 포괄적인 사전해결 파이프라인을 통합함.
• 원시 가중치 업데이트와 갭-대-거리 지표를 조합한 하이브리드 접근 방식을 사용하여 재시작 결정을 유도함.

실험 결과

연구 질문

• RQ1 PDHG와 같은 제1종 방법을 향상시켜 전통적 LP 응용에서 요구하는 고정밀도를 달성할 수 있는가?
• RQ2 적응형 재시작, 동적 스텝 사이즈, 예조건화가 대규모 LP 문제에서 PDHG의 성능에 통합적으로 미치는 영향은 무엇인가?
• RQ3 제1종 방법이 특정 대규모 또는 구조적 문제에서 기존의 상용 LP 솔버를 능가할 수 있는가?
• RQ4 각 알고리즘 향상 기법(예: 사전해결, 예조건화)이 전체 성능에 기여하는 상대적 기여도는 어떻게 되는가?
• RQ5 심플렉스 또는 내부점 방법의 메모리 또는 분해 제약으로 인해 해결이 어려운 문제들에 대해 PDLP는 효과적으로 확장 가능한가?

주요 결과

• 383개의 MIPLIB 2017 LP 인스턴스에서 PDLP는 1시간 이내에 상대적 최적성 허용 오차 10⁻⁸로 283개 문제를 해결했으며, 기준선인 PDHG 방법은 단지 50개 문제만 해결함.
• SCS(ADMM 기반 솔버) 대비 기하 평균 해답 시간이 6.3배 빨라졌고, 해결하지 못한 문제 수는 227개에서 49개로 감소함.
• 대규모 PageRank 문제에서 PDLP는 Gurobi의 바리어 및 심플렉스 방법을 능가하여 더 빠르게 해결하고 더 높은 정밀도를 달성함.
• 분해 연구 결과, 적응형 재시작과 대각 예조건화 각각이 성능 향상에 크게 기여하였으며, 조합 시 최고의 성능를 기록함.
• PDLP는 행렬-벡터 곱 연산에 의존하므로, 심플렉스 및 내부점 방법과 달리 다중 스레드 CPU, GPU, 분산 클러스터에서도 효율적으로 확장 가능함.
• PDLP의 오픈소스 Julia 구현체는 제1종 방법이 이제 특정 유형의 대규모 LP 문제에서 상용 솔버와 경쟁 가능하다는 것을 입증함.