[論文レビュー] An extensive numerical benchmark study of deterministic vs. stochastic derivative-free global optimization algorithms

Linas Stripinis, Remigijus Paulavičius|arXiv (Cornell University)|Sep 13, 2022

Advanced Optimization Algorithms Research被引用数 5

ひとこと要約

本稿では、GKLSおよびDIRECTGOLib v1.2の収集から得た1,197のテスト問題を用いて、64の導関数フリーのグローバル最適化アルゴリズム（64の決定的および確率的）のスケールの大きなベンチマークを提示する。低次元およびGKLSタイプの問題では決定的DIRECTタイプのアルゴリズムが確率的アルゴリズムを上回るが、高次元設定、特に関数評価予算が限られた状況では、AVOAなどの確率的ソルバが優勢であることが判明した。

ABSTRACT

Research in derivative-free global optimization is under active development, and many solution techniques are available today. Therefore, the experimental comparison of previous and emerging algorithms must be kept up to date. This paper considers the solution to the bound-constrained, possibly black-box global optimization problem. It compares 64 derivative-free deterministic algorithms against classic and state-of-the-art stochastic solvers. Among deterministic ones, a particular emphasis is on DIRECT-type, where, in recent years, significant progress has been made. A set of 800 test problems generated by the well-known GKLS generator and 397 traditional test problems from DIRECTGOLib v1.2 collection are utilized in a computational study. More than 239400 solver runs were carried out, requiring more than 531 days of single CPU time to complete them. It has been found that deterministic algorithms perform excellently on GKLS-type and low-dimensional problems, while stochastic algorithms have shown to be more efficient in higher dimensions.

研究の動機と目的

• 最先端の決定的および確率的導関数フリーグローバル最適化アルゴリズムの包括的かつ最新の比較を提供すること。
• 合成的（GKLS）および伝統的（DIRECTGOLib v1.2）ベンチマークを含む多様で困難なテスト問題において、アルゴリズムのパフォーマンスを評価すること。
• 関数評価予算および問題の次元数がアルゴリズムの有効性に与える影響を評価すること。
• 特にDIRECTタイプのアルゴリズムにおいて、ハイブリッド化されたとされないバージョンとのパフォーマンス比較を通じて、ハイブリッド化の影響を調査すること。
• 次元数や構造といった問題の特性に応じて、最適なソルバを選択するための実務的指針を提供すること。

提案手法

• 合計1,197の問題として、800のGKLS生成テスト問題とDIRECTGOLib v1.2の397の伝統的問題を用いた。
• 関数評価予算として$M_{\text{max}} = 2,500$および$M_{\text{max}} = 500,000$を複数設定し、合計239,400回以上のソルバ実行を実施した。
• 標準化された計算フレームワークを用いて、34の決定的（特にDIRECTタイプ）および30の確率的（例：AVOA、SCSO、BESO、CA）の合計64のソルバを評価した。
• グローバル最適解への収束度と関数評価効率に基づくパフォーマンス指標を適用し、全テスト問題にわたって結果を集約した。
• 再現可能性とコミュニティ貢献を確保するため、MITライセンス下で公開可能で拡張可能なテストスイートとして、DIRECTGOLib v1.2リポジトリを活用した。
• ハイブリッド化されたバージョン（例：OQNLP*、MCS*）と標準版との比較を通じて、ハイブリッド化がパフォーマンスに与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 低次元および高次元問題において、決定的および確率的導関数フリー最適化アルゴリズムのパフォーマンスはどのように比較されるか？
• RQ2 特に関数評価予算が高くなる状況下で、GKLSテストセットにおいて最も優れたパフォーマンスを示すアルゴリズムは何か？
• RQ3 ハイブリッド化された決定的DIRECTタイプのソルバのパフォーマンスは、非ハイブリッド化された対応バージョンと比べてどのように変化するか？
• RQ4 AVOA や SCSO などの確率的ソルバは、高次元問題において決定的手法と比較して相対的にどの程度効率的か？
• RQ5 アルゴリズムの順位は、問題の次元数や関数評価予算にどの程度依存するか？

主な発見

• 決定的DIRECTタイプのアルゴリズム、特にBIRMIN*とGb-BIRECTは、低次元およびGKLSタイプの問題において、$M_{\text{max}} = 500,000$の条件下でも他をすべて上回った。
• 関数評価予算が$M_{\text{max}} = 2,500$の高次元問題では、AVOA、SCSO、BESO、CAなどの確率的ソルバが最も優れたパフォーマンスを示し、スケーラビリティに優れたことが判明した。
• AVOAは全体のベンチマークで10位であったが、高次元設定では最良のパフォーマンスを示しており、全体の順位に与えるGKLS問題の影響が強いことが示された。
• ハイブリッド化された決定的ソルバ（例：OQNLP*、MCS*、MSNLP*、BIRMIN*）は、非ハイブリッド化された対応バージョンよりもパフォーマンスが劣り、$M_{\text{max}} = 500,000$の条件下でも同様の傾向が見られた。これは、ハイブリッド化がグローバルサーチ効率を損なう可能性があることを示唆している。
• アルゴリズムのパフォーマンスは問題に強く依存しており、特定のアルゴリズムが全テスト問題で優位に立つことはなく、次元数や関数タイプによって順位が顕著に変化した。
• 本研究は、DIRECTタイプのソルバが低次元では非常に効果的であるが、次元数が増加すると急速に効率が低下することを確認した。これは、既知の理論的制限と整合的である。