[論文レビュー] GENDIRECT: a GENeralized DIRECT-type algorithmic framework for derivative-free global optimization

Linas Stripinis, Remigijus Paulavičius|arXiv (Cornell University)|Sep 2, 2023

Advanced Optimization Algorithms ResearchMathematics被引用数 3

ひとこと要約

本稿では、GENDIRECTを紹介する。GENDIRECTは、柔軟なアルゴリズム的コンponentの組み合わせを可能にすることで、導出不能なグローバル最適化手法のDIRECT型の一般化されたアルゴリズム的フレームワークである。GENDIRECTを用いて5つの既存アルゴリズムを再構成することで、多様なベンチマーク問題において顕著な性能向上が示され、80%以上のテストケースで統計的に有意な向上が達成された。

ABSTRACT

Over the past three decades, numerous articles have been published discussing the renowned DIRECT algorithm (DIvididing RECTangles). These articles present innovative ideas to enhance its performance and adapt it to various types of optimization problems. A comprehensive collection of deterministic, derivative-free algorithmic implementations based on the DIRECT framework has recently been introduced as part of the DIRECTGO project. DIRECTGO empowers users to conveniently employ diverse DIRECT-type algorithms, enabling efficient solutions to practical optimization problems. Despite their variations, DIRECT-type algorithms share a common algorithmic structure and typically differ only at certain steps. Therefore, we propose GENDIRECT -- GENeralized DIRECT-type framework that encompasses and unifies DIRECT-type algorithms into a single, generalized framework within this paper. GENDIRECT offers a practical alternative to the creation of yet another ``new'' DIRECT-type algorithm that closely resembles existing ones. Instead, GENDIRECT allows the efficient generation of known or novel DIRECT-type optimization algorithms by assembling different algorithmic components. This approach provides considerably more flexibility compared to both the DIRECTGO toolbox and individual DIRECT-type algorithms. A few hundred thousand DIRECT-type algorithms can be combined using GENDIRECT, facilitating users' easy customization and the addition of new algorithmic components. By modifying specific components of five highly promising DIRECT-type algorithms found in the existing literature using GENDIRECT, the significant potential of GENDIRECT has been demonstrated. The resulting newly developed improved approaches exhibit greater efficiency and enhanced robustness in dealing with problems of varying complexity.

研究の動機と目的

• 類似したが異なる多数のDIRECT型アルゴリズムの増加に対処するため、それらの設計を1つの拡張可能なフレームワークに統一すること。
• 新規アルゴリズムを完全から開発する必要を減らし、既存または新規のアルゴリズムを迅速かつモジュラーに構築できるようにすること。
• 高価な関数評価を伴うブラックボックス問題における、導出不能なグローバル最適化の効率性とロバスト性を向上させること。
• 最適なパフォーマンスを得るためのアルゴリズム的コンポーネントの組み合わせを体系的かつ探索可能にするための支援をすること。

提案手法

• GENDIRECTは、分割ルール、サンプリング戦略、選択基準などの相互に交換可能なアルゴリズム的コンポーネントの組み合わせとして、DIRECT型アルゴリズムを形式化する。
• コンポーネントの組み合わせによる組み合わせ的構成により、約50万の独自なアルゴリズム的設定が可能である。
• DIRECTのコア構造を抽象化し、鍵となるステップをモジュラー関数にすることで、動的再構成を可能にする。
• フレームワークはMATLABで実装され、ベンチマーク評価のためのDIRECTGOLib v2.0と統合されている。
• アルゴリズムの改善は、5つの高性能な既存アルゴリズムの特定のコンポーネント（例：分割、サンプリング）を変更することで生成される。
• 性能評価は、20のテスト問題と4つの評価予算について、統計的検定（ウィルコクソンの符号順位検定）とフリードマンの平均順位分析を用いて実施された。

実験結果

リサーチクエスチョン

• RQ1 類似した多数のDIRECT型アルゴリズムを統一・拡張する一般化されたフレームワークを設計することは可能か？
• RQ2 新規アルゴリズムを完全から設計するのではなく、アルゴリズム的コンポーネントを再構成することで、どの程度の性能向上が達成できるか？
• RQ3 どのアルゴリズム的コンポーネントの組み合わせが、異なる問題クラスや評価予算において最もロバストで効率的なパフォーマンスを発揮するか？
• RQ4 異なる関数評価予算レベルにおいて、改善されたアルゴリズムは、元のバージョンと統計的にどのように比較されるか？

主な発見

• 改善された1-DTC-GLアルゴリズムは、Mmax = n×104で平均順位4.6128を達成し、元のバージョン（平均順位5.3375）を著しく上回った。Mmax = n×103でのp値は2.4241×10−8であった。
• 改善されたHALRECT-IAバージョンは、Mmax = n×104で平均順位5.5229を達成し、元のバージョン（平均順位7.1372）を著しく上回った。p値は5.3640×10−10であった。
• 改善されたMrDIRECTアルゴリズムは、Mmax = n×104で平均順位5.2500を達成し、元のバージョン（平均順位6.8099）を著しく上回った。p値は4.5374×10−40であった。
• 改善されたBIRMINアルゴリズムは、すべての予算において一貫した統計的優位性を示した。Mmax = n×105でのp値は1.5552×10−15未満であった。
• 改善されたDIRMINアルゴリズムは、Mmax = n×104で平均順位5.2886を達成し、元のバージョン（平均順位5.3084）を著しく上回った。p値は8.2874×10−3であった。
• 全体として、80%の改善されたアルゴリズムが統計的に有意な性能向上を示した。特に、Mmax ≥ n×104の高い評価予算において顕著であった。