[논문 리뷰] Exploring Benefits of Linear Solver Parallelism on Modern Nonlinear Optimization Applications

Byron Tasseff, Carleton Coffrin외 2명|arXiv (Cornell University)|2019. 09. 17.

Advanced Optimization Algorithms Research인용 수 13

한 줄 요약

이 논문은 다양한 비선형계획문제(NLP)에서 선형해법기의 병렬처리가 Ipopt 성능에 미치는 영향을 평가하며, 새로운 오픈소스 이종 CPU-GPU 해법기(SPRAL)를 도입하고 기존의 해법기들과 비교하여 성능을 측정한다. 병렬처리는 대규모 밀도 높은 PDE-제약 문제에서 성능 향상에 크게 기여하지만, 소규모이고 쉬운 벤치마크에서는 오버헤드로 인해 성능 향상이 제한적임을 발견하여 문제 유형에 따라 최적의 해법기를 권장한다.

ABSTRACT

The advent of efficient interior point optimization methods has enabled the tractable solution of large-scale linear and nonlinear programming (NLP) problems. A prominent example of such a method is seen in Ipopt, a widely-used, open-source nonlinear optimization solver. Algorithmically, Ipopt depends on the use of a sparse symmetric indefinite linear system solver, which is heavily employed within the optimization of barrier subproblems. As such, the performance and reliability of Ipopt is dependent on the properties of the selected linear solver. Inspired by a trend in mathematical programming toward solving larger and more challenging NLPs, this work explores two core questions: first, how does the scalability of available linear solvers, many of which exhibit shared-memory parallelism, impact Ipopt performance; and second, does the best linear solver vary across NLP problem classes, including nonlinear network problems and problems constrained by partial differential equations? To better understand these properties, this paper first describes available open- and closed-source, serial and parallel linear solvers and the fundamental differences among them. Second, it introduces the coupling of a new open-source linear solver capable of heterogeneous parallelism over multi-core central processing units and graphics processing units. Third, it compares linear solvers using a variety of mathematical programming problems, including standard test problems for linear and nonlinear optimization, optimal power flow benchmarks, and scalable two- and three-dimensional partial differential equation and optimal control problems. Finally, linear solver recommendations are provided to maximize Ipopt performance across different application domains.

연구 동기 및 목표

• 공유 메모리 병렬처리가 대규모 비선형 최적화 문제에서 Ipopt 성능에 미치는 영향을 평가하기 위해.
• 최적의 선형해법기가 최적의 전력 흐름(OPF) 및 PDE-제약 문제를 포함한 다양한 NLP 문제 유형 간에 상이하게 나타나는지 평가하기 위해.
• CPU 및 GPU에서 이종 병렬처리를 지원하는 새로운 오픈소스 선형해법기인 SPRAL을 도입하고, Ipopt 프레임워크에 통합하기 위해.
• 다양한 적용 분야에서 Ipopt 성능을 극대화하기 위해 선형해법기를 선택하는 데 기초가 되는 데이터 기반 권고를 제공하기 위해.

제안 방법

• Ipopt 프레임워크 내에서 오픈소스(MA27, MA57, SPRAL) 및 상용(PARDISO) 선형해법기의 포괄적인 벤치마크를 실시하였다.
• 해법기의 행동을 평가하기 위해 표준 테스트 세트(CUTEst), 최적 전력 흐름(OPF) 벤치마크, 확장 가능한 2D/3D PDE-제약 최적 제어 문제를 사용하였다.
• 다중코어 CPU 및 GPU에서 이종 병렬처리를 지원하는 새로운 희소 대칭 비정칙 해법기인 SPRAL을 통합하였다.
• 문제 유형 간에 런타임, 반복 횟수, 인수분해 시간을 측정하여 성능을 평가하였으며, 일반 사용자 설정을 반영하기 위해 기본 설정을 유지하였다.
• 특히 GPU 가속 인수분해의 경우, 해법기 오버헤드와 병렬 처리 속도 향상 간의 상충관계를 분석하였다.
• 문제 유형과 규모에 따라 실증 결과를 바탕으로 해법기 권고를 도출하였다.

실험 결과

연구 질문

• RQ1 선형해법기의 공유 메모리 병렬처리가 대규모 NLP에서 Ipopt의 성능 및 확장성에 어떤 영향을 미치는가?
• RQ2 최적의 선형해법기가 네트워크 문제 및 PDE-제약 최적 제어 문제를 포함한 다양한 NLP 문제 유형 간에 상이하게 나타나는가?
• RQ3 GPU 가속 선형해법기는 성능 향상에 어느 정도 영향을 미치며, 데이터 전송 오버헤드로 인한 성능 상충관계는 어떠한가?
• RQ4 피벗 순서 및 수치적 안정성과 같은 해법기 특성이 다양한 문제 유형 간 성능에 어떻게 영향을 미치는가?
• RQ5 기존의 벤치마크 세트는 현대의 대규모 NLP 문제의 과제를 충분히 반영하고 있는가, 아니면 더 크고 복잡한 문제들이 필요한가?

주요 결과

• CUTEst 및 OPF 벤치마크의 소규모에서 중간 규모 문제에서는 오버헤드가 낮은 순차 해법기(MA57, MA27)가 병렬 해법기보다 성능이 뛰어나다.
• 대규모 2D PDE-제약 문제에서는 PARDISO가 뛰어난 성능을 보였으며, 비록 순차이지만 MA57도 경쟁력 있는 성능을 유지하였다.
• 어려운 3D PDE-제약 문제에서는 다중전면(Multifrontal) SPRAL 해법기가 고도화된 순서 정렬 및 피벗 전략 덕분에 다른 해법기들보다 뛰어난 성능을 보였다.
• GPU 가속 SPRAL은 현재 문제 크기에서는 호스트와 장치 간의 높은 데이터 전송 오버헤드로 인해 성능 향상이 제한적이다.
• 어려운 PDE 문제에서는 반복 횟수가 수십 번으로 줄어들어 행렬 인수분해 비용이 지배적이 되었으며, 이는 빠른 선형해법기의 가치를 극대화하였다.
• 연구 결과, 해법기 선택은 문제 유형 인식에 기반해야 하며, 어려운 문제에는 PARDISO 및 SPRAL, 쉬운 문제에는 MA57/MA27를 권고한다.