[論文レビュー] NOMAD version 4: Nonlinear optimization with the MADS algorithm

Charles Audet, Sébastien Le Digabel+2 more|arXiv (Cornell University)|Apr 23, 2021

Metaheuristic Optimization Algorithms Research参考文献 61被引用数 9

ひとこと要約

NOMADバージョン4は、モジュラーなアルゴリズムコンポONENTを用いたブラックボックス最適化ソフトウェアの完全なアーキテクチャ刷新を実施し、保守性・拡張性・並列処理の効率性を向上させた。新しいアーキテクチャは、MegaSearchPoll、ウォーム/ホットリスタート、強化されたPsdMadsといった高度な機能をサポートし、Solar 7のような制約付き問題において8コアで最長3.3倍の高速化を達成した。一方、バージョン3と比較して数値的性能は維持された。

ABSTRACT

NOMAD is software for optimizing blackbox problems. In continuous development since 2001, it constantly evolved with the integration of new algorithmic features published in scientific publications. These features are motivated by real applications encountered by industrial partners. The latest major release of NOMAD, version 3, dates from 2008. Minor releases are produced as new features are incorporated. The present work describes NOMAD 4, a complete redesign of the previous version, with a new architecture providing more flexible code, added functionalities and reusable code. We introduce algorithmic components, which are building blocks for more complex algorithms, and can initiate other components, launch nested algorithms, or perform specialized tasks. They facilitate the implementation of new ideas, including the MegaSearchPoll component, warm and hot restarts, and a revised version of the PSD-MADS algorithm. Another main improvement of NOMAD 4 is the usage of parallelism, to simultaneously compute multiple blackbox evaluations, and to maximize usage of available cores. Running different algorithms, tuning their parameters, and comparing their performance for optimization is simpler than before, while overall optimization performance is maintained between versions 3 and 4. NOMAD is freely available at www.gerad.ca/nomad and the whole project is visible at github.com/bbopt/nomad.

研究の動機と目的

• バージョン3におけるアルゴリズムの密結合化と、アルゴリズム改善の増加に伴う複雑化と保守性の低下を是正するため。
• 将来的なアルゴリズム開発を容易にするために、モジュラーでコンポONENT指向のアーキテクチャにNOMADを再設計すること。
• スレッドレベルの実行をネイティブにサポートすることで、現代の高コア数プロセッサリソースを効率的に活用すること。
• 数値的性能を維持または向上させつつ、ソフトウェアの柔軟性と開発者へのアクセス性を大幅に向上させること。
• 今後のリリースでBiMads、RobustMads、および変数近傍探索といった高度なアルゴリズムの統合を可能とすること。

提案手法

• 複雑な最適化アルゴリズムを構築するための再利用可能で合成可能なアルゴリズムコンポONENTを導入。
• MadsやPsdMadsといったコアアルゴリズムを、モジュラーで保守性の高いコンポONENT指向のソフトウェアアーキテクチャで再実装。
• OpenMPとMPIを用いたハイブリッド並列処理を採用し、複数のスレッドとプロセスをサポートすることで、コアの利用効率を最大化。
• 複数の探索方向を同時に評価できるMegaSearchPollコンポONENTを統合し、収束速度を向上。
• 初期化を共有する複数回の最適化実行において性能を向上させるため、ウォームリスタートおよびホットリスタートをサポート。
• コンポONENTが他のコンポONENTを起動したり、ネストされたアルゴリズムを実行したり、特殊なタスクを遂行できる階層的設計を採用。

実験結果

リサーチクエスチョン

• RQ1 進化するアルゴリズム的革新をサポートしつつ、後方互換性と性能を維持するため、ブラックボックス最適化ソフトウェアをどのように再設計できるか？
• RQ2 導出不能最適化分野において、モジュラーなコンポONENT指向アーキテクチャがソフトウェアの保守性と拡張性をどの程度向上できるか？
• RQ3 MegaSearchPollやマルチスレッド実行といった高度な並列処理機能を統合した場合、実行時間とスケーラビリティにどのような影響を与えるか？
• RQ4 新しいアーキテクチャは、数値的性能に悪影響を及げることなく、現代の高コア数クラスタを効率的に活用できるか？
• RQ5 実世界の制約付き最適化問題において、再設計されたNOMAD v4はどの程度の性能向上を達成できるか？

主な発見

• NOMAD 4におけるPsdMadsの実装は、NOMAD 3を上回っており、30回の試行の最悪結果がNOMAD 3の最良結果を上回っている。
• Solar 7問題において、NOMAD 4は8コアとMegaSearchPollを併用することで、シングルコア実行と比較して最長3.3倍の高速化を達成した。
• データプロファイルの結果から、8コアとMegaSearchPollを用いたNOMAD 4は、シングルコア実行よりも早くより優れた目的関数値に到達している。
• スケーリング解析の結果、並列実行が壁時計時間の大幅な短縮をもたらし、8コアとMegaSearchPollコンポONENTを組み合わせた場合に最も短い壁時計時間が達成された。
• 新しいアーキテクチャにより、数千コアの効率的利用が可能となり、従来バージョンが抱えていたHPC環境へのスケーリング制限が解消された。
• NOMAD 3とNOMAD 4の間で数値的性能は維持されており、収束性や解の品質に劣化は認められない。