[論文レビュー] Nonlinear Programming Solvers for Unconstrained and Constrained Optimization Problems: a Benchmark Analysis

Giovanni Lavezzi, Kidus Guye+1 more|arXiv (Cornell University)|Apr 11, 2022

Advanced Optimization Algorithms Research参考文献 39被引用数 4

ひとこと要約

本研究では、MATLABを用いて60の無制約および制約付きベンチマーク問題を対象に、23種類の非線形プログラミング（NLP）ソルバーの性能を、正確性、収束速度、処理速度の観点からベンチマーク評価した。主な発見として、BARONは正確性と収束率が最も高く、処理速度は最も遅いが、PENLABは性能のバランスが最も優れている。FMINCON、KNITRO、SNOPT、MIDACOは実用的応用において良好な妥協を提供している。

ABSTRACT

In this paper we propose a set of guidelines to select a solver for the solution of nonlinear programming problems. With this in mind, we present a comparison of the convergence performances of commonly used solvers for both unconstrained and constrained nonlinear programming problems. The comparison involves accuracy, convergence rate, and convergence speed. Because of its popularity among research teams in academia and industry, MATLAB is used as common implementation platform for the solvers. Our study includes solvers which are either freely available, or require a license, or are fully described in literature. In addition, we differentiate solvers if they allow the selection of different optimal search methods. As result, we examine the performances of 23 algorithms to solve 60 benchmark problems. To enrich our analysis, we will describe how, and to what extent, convergence speed and accuracy can be improved by changing the inner settings of each solver.

研究の動機と目的

• 無制約および制約付き最適化問題におけるNLPソルバーの体系的比較を提供すること。
• 正確性、収束速度、計算速度に基づき、研究者および実務家が最適なソルバーを選定できるようにガイドすること。
• 特に高精度および高速解法設定における内部パrameterチューニングの影響を評価すること。
• 最大30変数および9制約を有する標準的なNLPテスト問題を用いた標準化されたベンチマークを確立すること。
• リアルタイムおよびハイパフォーマンス応用におけるソルバー選定を支援するため、人気のあるMATLABベースのソルバー間のトレードオフを分析すること。

提案手法

• 本研究では、MATLABの組み込みソルバー（例：fmincon、fminunc）、勾配ベースの手法、メタヒューリスティクス（例：APSO）を含む23種類のソルバーを、MATLABで実装して評価した。
• ベンチマーク問題は、Hedar、Schittkowski、Floudas & Pardalosの標準的コレクションから抽出され、最大30変数および9制約を有する。
• 性能は4つの指標を用いて測定した：平均誤差（E）、誤差の標準偏差（σ）、収束率（γ）、平均CPU時間（CPU）。
• 2つのソルバー設定（高精度（HA）および高速解法（QS））をテストし、内部パrameterチューニングへの感受性を評価した。
• HA設定では平均誤差、QS設定ではCPU時間を基準にソルバーを順位付けし、60のテスト問題全体にわたる統計的比較を実施した。
• 結果は、両設定下でのすべての60のベンチマーク問題におけるソルバーパフォーマンスを比較した詳細な表形式で提示された。

実験結果

リサーチクエスチョン

• RQ1 無制約および制約付きベンチマーク問題において、どのNLPソルバーが最も高い正確性と最も速い収束速度を達成するか？
• RQ2 異なるソルバー設定（例：BARONの複数モード、fminconのアルゴリズム）は、収束速度および正確性にどのように影響するか？
• RQ3 一般的に使用されるMATLABベースのソルバー間で、解の正確性と計算速度のトレードオフはどのように変化するか？
• RQ4 リアルタイムまたはハイパフォーマンス最適化タスクにおいて、正確性、収束速度、処理速度のバランスが最も優れたソルバーはどれか？
• RQ5 ソルバー固有の内部設定をチューニングすることで、収束性能はどの程度向上するか？

主な発見

• BARONは、すべての制約付き問題において一貫して最高の正確性（平均誤差 < 2.1e-3）と最高の収束率（92.0％の成功率）を達成した。特に高精度（HA）モードで顕著であった。
• PENLABは、正確性（平均誤差 1.127e-4）、収束率（31.0％）、処理速度（平均CPU時間 0.0379秒）のバランスが最も優れており、HA設定でも他を上回った。
• FMINCON、KNITRO、SNOPT、MIDACOは、正確性、収束率、処理速度の間で良好な妥協を提供した。特にSNOPTはQS設定で最も速く（CPU時間 0.0027秒）、優れた性能を示した。
• 高精度設定では、BARON（auto）は平均誤差2.054e-3を達成し、標準偏差が極めて小さい（4.556e-17）ため、ほぼ完全な一貫性を示した。
• 粒子群最適化（APSO）は正確性が低く（平均誤差 1.173e+0）、特にHAモードでは勾配ベースのソルバーと比べて著しく遅かった。
• ソルバー設定のチューニングにより性能が顕著に向上した。例として、BARONの性能は全モードで優れていたが、FMINCONのSQP法はアクティブセット法よりも収束が速かった（QS設定で0.0071秒 vs 0.0165秒）。