[논문 리뷰] Nonlinear Programming Solvers for Unconstrained and Constrained Optimization Problems: a Benchmark Analysis

Giovanni Lavezzi, Kidus Guye외 1명|arXiv (Cornell University)|2022. 04. 11.

Advanced Optimization Algorithms Research참고 문헌 39인용 수 4

한 줄 요약

이 논문은 MATLAB을 사용하여 60개의 비선형 프로그래밍(NLP) 문제(비제약 및 제약 조건이 있는 문제 포함)에 대해 23개의 NLP 솔버를 벤치마킹하며 정확도, 수렴 속도 및 속도를 평가한다. 주요 발견 결과로 BARON은 가장 높은 정확도와 수렴 속도를 보였지만 가장 느렸고, PENLAB는 성능의 가장 우수한 균형을 제공하였다. FMINCON, KNITRO, SNOPT, MIDACO는 실용적 응용 분야에서 강력한 성능 균형을 제공하였다.

ABSTRACT

In this paper we propose a set of guidelines to select a solver for the solution of nonlinear programming problems. With this in mind, we present a comparison of the convergence performances of commonly used solvers for both unconstrained and constrained nonlinear programming problems. The comparison involves accuracy, convergence rate, and convergence speed. Because of its popularity among research teams in academia and industry, MATLAB is used as common implementation platform for the solvers. Our study includes solvers which are either freely available, or require a license, or are fully described in literature. In addition, we differentiate solvers if they allow the selection of different optimal search methods. As result, we examine the performances of 23 algorithms to solve 60 benchmark problems. To enrich our analysis, we will describe how, and to what extent, convergence speed and accuracy can be improved by changing the inner settings of each solver.

연구 동기 및 목표

• 비제약 및 제약 조건이 있는 최적화 문제에 대해 NLP 솔버를 체계적으로 비교하기 위해.
• 정확도, 수렴 속도, 계산 속도 기반으로 연구자 및 실무자가 최적의 솔버를 선택할 수 있도록 안내하기 위해.
• 특히 고정밀도 및 빠른 솔루션 설정에서 내부 설정 조정이 성능에 미치는 영향을 평가하기 위해.
• 최대 30개의 변수와 9개의 제약 조건을 가진 표준 NLP 테스트 문제를 사용하여 표준화된 벤치마크를 수립하기 위해.
• 실시간 및 고성능 응용 분야에서의 솔버 선택을 지원하기 위해 주로 사용되는 MATLAB 기반 솔버들 간의 성능 균형을 분석하기 위해.

제안 방법

• 연구는 MATLAB 내장 솔버(예: fmincon, fminunc), 기울기 기반 방법, 메타휴리스틱(예: APSO)을 포함한 총 23개의 솔버를 MATLAB에서 구현하여 평가한다.
• 벤치마크 문제들은 Hedar, Schittkowski, Floudas & Pardalos 등의 표준 컬렉션에서 유래되었으며, 최대 30개의 변수와 9개의 제약 조건을 가진다.
• 성능는 네 가지 지표를 사용하여 측정한다: 평균 오차(E), 오차의 표준편차(σ), 수렴률(γ), 평균 CPU 시간(CPU).
• 두 가지 솔버 설정(고정밀도(HA) 및 빠른 솔루션(QS))을 테스트하여 내부 파rameter 조정에 대한 민감도를 평가한다.
• HA 설정에서는 평균 오차 기반, QS 설정에서는 CPU 시간 기반으로 솔버를 순위 매기며, 60개의 테스트 문제 전반에 걸쳐 통계적 비교를 수행한다.
• 결과는 두 설정 모두에서 모든 60개의 벤치마크 문제에 대해 솔버 성능를 비교한 상세한 표로 제시된다.

실험 결과

연구 질문

• RQ1 비제약 및 제약 조건이 있는 벤치마크 문제 전반에서 가장 높은 정확도와 빠른 수렴 속도를 보이는 NLP 솔버는 무엇인가?
• RQ2 다양한 솔버 설정(예: BARON의 다양한 모드, fmincon의 알고리즘)이 수렴 속도와 정확도에 어떤 영향을 미치는가?
• RQ3 주로 사용되는 MATLAB 기반 솔버들 사이에서 정확도와 계산 속도 사이의 성능 균형은 어떻게 되는가?
• RQ4 실시간 또는 고성능 최적화 작업에 가장 적합한 정확도, 수렴 속도, 속도의 균형을 제공하는 솔버는 무엇인가?
• RQ5 솔버 전용 내부 설정 조정을 통해 수렴 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• BARON은 모든 제약 조건이 있는 문제에서 일관되게 가장 높은 정확도(평균 오차 < 2.1e-3)와 가장 높은 수렴률(92.0% 성공률)을 달성하였으며, 특히 고정밀도(HA) 모드에서 두드러졌다.
• PENLAB는 평균 오차 1.127e-4, 수렴률 31.0%, 평균 CPU 시간 0.0379초로 정확도, 수렴률, 속도의 가장 우수한 균형을 제공하여 HA 설정에서 다른 솔버들을 압도적으로 앞섰다.
• FMINCON, KNITRO, SNOPT, MIDACO는 정확도, 수렴률, 속도 사이의 균형이 매우 우수했으며, 특히 QS 설정에서 SNOPT가 가장 빠르게(0.0027초 평균 CPU 시간) 작동하였다.
• 고정밀도 설정에서 BARON(auto)는 평균 오차 2.054e-3, 표준편차 근처 0(4.556e-17)를 기록하여 거의 완벽한 일관성을 보였다.
• 입자 군집 최적화기(APSO)는 정확도가 낮았고(평균 오차 1.173e+0), 특히 HA 모드에서 기울기 기반 솔버들보다 현저히 느렸다.
• 솔버 설정 조정이 성능 향상에 크게 기여하였다: 예를 들어, BARON은 모든 모드에서 뛰어난 성능를 유지했으며, FMINCON의 SQP 방법은 활성집합 버전(0.0165초)보다 더 빠른 수렴(0.0071초)을 달성하였다.