[논문 리뷰] An ADMM-Based Interior-Point Method for Large-Scale Linear Programming

Tianyi Lin, Shiqian Ma외 2명|arXiv (Cornell University)|2018. 05. 31.

Advanced Optimization Algorithms Research참고 문헌 56인용 수 7

한 줄 요약

이 논문은 대규모 선형계획 문제에 대해 안정적인 2차 IPM의 특성과 1차 ADMM의 확장성을 결합한 ADMM 기반 내점법인 ABIP를 제안한다. 동일한 자기동차 자기포함 구조 프레임워크 내에서 로그-바리어 보조 문제를 ADMM로 해결함으로써, ABIP는 대규모, 조밀하고, 불안정한 조건을 가진 LP 문제에서 높은 정확도와 강건성을 달성하며, 전통적인 IPM과 순수 1차 솔버인 SCS에 비해 확장성과 신뢰성 면에서 뛰어나다.

ABSTRACT

We propose a new framework to implement interior point method (IPM) to solve very large linear programs (LP). Traditional IPMs typically use Newton's method to approximately solve a subproblem that aims to minimize a log-barrier penalty function at each iteration. Due its connection to Newton's method, IPM is often classified as second-order method -- a genre that is attached with stability and accuracy at the expense of scalability. Indeed, computing a Newton step amounts to solving a large linear system, which can be efficiently implemented if the input data are reasonably-sized and/or sparse and/or well-structured. However, in case the above premises fail, then the challenge still stands on the way for a traditional IPM. To deal with this challenge, one approach is to apply the iterative procedure, such as preconditioned conjugate gradient method, to solve the linear system. Since the linear system is different each iteration, it is difficult to find good pre-conditioner to achieve the overall solution efficiency. In this paper, an alternative approach is proposed. Instead of applying Newton's method, we resort to the alternating direction method of multipliers (ADMM) to approximately minimize the log-barrier penalty function at each iteration, under the framework of primal-dual path-following for a homogeneous self-dual embedded LP model. The resulting algorithm is an ADMM-Based Interior Point Method, abbreviated as ABIP in this paper. The new method inherits stability from IPM, and scalability from ADMM. Because of its self-dual embedding structure, ABIP is set to solve any LP without requiring prior knowledge about its feasibility. We conduct extensive numerical experiments testing ABIP with large-scale LPs from NETLIB and machine learning applications. The results demonstrate that ABIP compares favorably with existing LP solvers including SDPT3, MOSEK, DSDP-CG and SCS.

연구 동기 및 목표

• 대규모, 조밀하거나 불안정한 조건을 가진 선형계획 문제를 해결할 때 전통적인 내점법(IPM)의 확장성 한계를 해결하기 위해.
• 뉴턴 단계 계산에서 켈레르 서브스페이스 방법에 대한 효과적인 조절행렬을 찾는 데 어려움을 해결하기 위해.
• IPM의 정확성과 안정성을 유지하면서도 ADMM와 같은 1차 방법의 확장성도 달성하는 1차 IPM 프레임워크를 개발하기 위해.
• 자기동차 자기포함 구조를 활용해 타당, 비타당 또는 무한대인 선형계획 문제를 모두 하나의 알고리즘으로 해결할 수 있도록 하기 위해.
• ADMM가 IPM 보조 문제 해결에서 뉴턴 방법을 효과적으로 대체할 수 있으며, 수렴 품질이나 강건성에 손실이 없음을 입증하기 위해.

제안 방법

• 기본 선형계획 문제의 자기동차 자기포함(HSD) 구조를 사용하여 타당한 시작점을 보장하고 비타당성 또는 무한대 여부를 자동으로 탐지한다.
• 각 IPM 반복 단계에서 로그-바리어 페널티 보조 문제를 뉴턴 방법 대신 교대 방향 승수법(ADMM)을 사용해 근사적으로 해결한다.
• ADMM 보조 문제는 가분성 구조를 활용하여 대규모 문제에 대해 효율적이고 분산형이며 확장 가능한 업데이트를 가능하게 한다.
• 알고리즘은 원-쌍대 경로추종 방식을 따르며, 적응형 페널티 파라미터 업데이트를 통해 ADMM 반복을 통해 중심 경로를 추적한다.
• 수렴 분석 결과, ABIP의 전체 반복 복잡도는 O(1/ε log(1/ε))로, 표준 IPM 복잡도와 일치함을 확인하였다.
• 직접적(ABIP) 및 반복적(ABIP-CG) 버전으로 구현되었으며, 후자는 대규모 시스템에서 공액 기울기법을 사용한다.

실험 결과

연구 질문

• RQ1 ADMM가 내점법의 로그-바리어 보조 문제 해결에서 뉴턴 방법을 효과적으로 대체할 수 있으며, 수렴성과 정확성을 유지할 수 있는가?
• RQ2 ADMM 기반 IPM의 성능은 대규모 및 조밀한 선형계획 문제에서 전통적인 IPM과 순수 1차 솔버인 SCS에 비해 어떻게 비교되는가?
• RQ3 ADMM와 IPM을 자기동차 자기포함 구조를 통해 결합하면, 사전 지식 없이도 비타당성과 무한대 여부를 탐지할 수 있는 강건한 알고리즘이 만들어지는가?
• RQ4 제안된 ADMM 기반 IPM 프레임워크의 이론적 반복 복잡도는 무엇인가?
• RQ5 기존 IPM이 불안정한 조건이나 조밀한 데이터 구조로 인해 실패하는 초대규모 문제에 대해 이 방법은 효율적으로 확장될 수 있는가?

주요 결과

• ABIP는 NETLIB LP 문제의 114개 타당 문제를 모두 성공적으로 해결하였으며, SCS와 SCS-CG는 25~30%의 문제에서 실패하였다.
• 기계학습 문제에서는 ABIP와 ABIP-CG가 SCS와 SCS-CG보다 더 강건했으며, SCS는 ucihapt와 gisette 문제에서 실패했고, SCS-CG는 ucihapt와 ucihar 문제에서 실패하였다.
• ABIP는 SDPT3에 비해 최대 3배의 속도 향상을 보였으며, 대규모 문제에서 MOSEK와 유사한 성능을 보였으며, MOSEK는 가장 강건한 솔버였다.
• ABIP-CG는 DSDP-CG와 SCS-CG보다 강건성 면에서 뛰어나, 이들 솔버가 실패한 모든 문제를 해결하였다.
• 기존 IPM이 불안정한 선형 시스템으로 인해 어려움을 겪는 조밀하고 불안정한 조건의 문제에서 ABIP는 뛰어난 확장성과 안정성을 보였다.
• 이론적 분석을 통해 ABIP가 표준 IPM의 O(1/ε log(1/ε)) 반복 복잡도를 유지함을 확인하였으며, 고정밀도에 빠른 수렴을 보장한다.