[論文レビュー] Efficient Multi-Objective Optimization through Population-based Parallel Surrogate Search

Taimoor Akhtar, Christine A. Shoemaker|arXiv (Cornell University)|Mar 6, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 54被引用数 11

ひとこと要約

本稿では、径数基底関数（RBFs）と集団ベースの探索戦略を用い、N 個のプロセッサ上で同時に評価可能な N 点を効率的に選択する、高価な目的関数を対象とした並列で補間ベースの多目的最適化アルゴリズム、MOPLS-N を提案する。NSGA-III や ParEGO といった最先端の手法と比較して、特に 16–64 個のプロセッサと高次元問題において優れた収束性とスループット向上を達成している。

ABSTRACT

Multi-Objective Optimization (MOO) is very difficult for expensive functions because most current MOO methods rely on a large number of function evaluations to get an accurate solution. We address this problem with surrogate approximation and parallel computation. We develop an MOO algorithm MOPLS-N for expensive functions that combines iteratively updated surrogate approximations of the objective functions with a structure for efficiently selecting a population of $N$ points so that the expensive objectives for all points are simultaneously evaluated on $N$ processors in each iteration. MOPLS incorporates Radial Basis Function (RBF) approximation, Tabu Search and local candidate search around multiple points to strike a balance between exploration, exploitation and diversification during each algorithm iteration. Eleven test problems (with 8 to 24 decision variables and two real-world watershed problems are used to compare performance of MOPLS to ParEGO, GOMORS, Borg, MOEA/D, and NSGA-III on a limited budget of evaluations with between 1 (serial) and 64 processors. MOPLS in serial is better than all non-RBF serial methods tested. Parallel speedup of MOPLS is higher than all other parallel algorithms with 16 and 64 processors. With both algorithms on 64 processors MOPLS is at least 2 times faster than NSGA-III on the watershed problems.

研究の動機と目的

• 計算コストの高いシミュレーションベースの関数に対して、限られた関数評価回数で多目的最適化（MOO）を実現する課題に対処すること。
• 多数の高価な関数評価に依存する従来の MOO アルゴリズムの非効率性を克服すること。
• 複数の候補解を同時に選択する並列で集団ベースのアルゴリズムを設計し、ウォルク・クロック時間を短縮すること。
• 探索、活用、多様性のバランスを取るために、補間モデリング（特に RBFs）と局所探索、タブー探索を統合すること。
• 評価予算制約下で、NSGA-III や Borg、ParEGO といった最先端の MOO アルゴリズムと比較して優れた性能を示すことを実証すること。

提案手法

• 高価な目的関数を近似するために径数基底関数（RBFs）を補間モデルとして使用し、直接評価への依存度を低減する。
• 非優位ソーティングと適応的半径制約、およびタブーリストを用いた、各反復で N 個の中心点を選択する世代的集団ベースのフレームワークを実装する。
• 各中心点の周囲で独立して並列に補間支援の局所探索を実行し、N 個の新たな候補解を生成する。
• マスタースレーブ型の同期並列アーキテクチャを採用し、マスターが中心点を選択しタブーリストを管理し、ワーカーが高価な目的関数を並列に評価する。
• 再評価や類似点の再訪問を防ぐためにタブュー探索を統合し、多様性の向上と局所収束の回避を図る。
• 新しい評価結果を反復的に用いて補間モデルを更新し、予測精度を向上させ、将来の探索方向をガイドする。

実験結果

リサーチクエスチョン

• RQ1 集団ベースで並列処理を行う補間最適化アルゴリズムは、高価な多目的最適化において、ウォルク・クロック時間を著しく短縮できるか？
• RQ2 RBF 補間モデルとタブュー探索、局所探索を統合することで、関数評価回数が制限された MOO において収束性と多様性がどのように向上するか？
• RQ3 評価制約下で、MOPLS-N は非補間型および他の補間ベースの MOO アルゴリズム（例：ParEGO や NSGA-III）と比較して、ハイパーボリュームと収束速度の点でどの程度優れているか？
• RQ4 合成問題および実世界問題において、並列プロセッサ数の増加（例：16 及び 64）に伴い、MOPLS-N のスケーラビリティはどの程度向上するか？
• RQ5 MOPLS-N は、高次元の意思決定空間を有する複雑な実世界のシミュレーション最適化問題（例：ウォータ shed キャリブレーション）を効果的に解けるか？

主な発見

• MOPLS-N はシングルスレッドモードでも、NSGA-III や Borg を含むすべての非 RBF シングルスレッド MOO アルゴリズムをハイパーボリューム収束の観点で上回った。
• 64 個のプロセッサを用いた場合、MOPLS-N は 2 つの実世界のウォータ shed キャリブレーション問題（TBROOK1 および TBROOK2）において、NSGA-III よりも少なくとも 2 倍の高速化を達成した。
• 負荷分散の効率と通信オーバーヘッドの低減により、MOPLS-N は他のテスト済み並列アルゴリズムと比較して、特に 16 及び 64 個のプロセッサで高い並列スループットを示した。
• 8 から 24 個の意思決定変数を有する 11 問のテスト問題において、MOPLS-N は優れた収束性と多様性を維持しており、特に高次元問題で顕著な優位性を示した。
• SWAT を用いたウォータ shed キャリブレーション問題において、MOPLS-N は ParEGO や NSGA-III を含むすべての競合アルゴリズムよりも優れたパレートフロント近似を生成した。
• pySOT ツールボックス内での MOPLS-N のオープンソース実装により、再現性が確保され、将来の代替補間モデリングフレームワークへの拡張が可能となった。