[論文レビュー] Efficient Evolutionary Algorithm for Single-Objective Bilevel Optimization

Ankur Sinha, Pekka Malo+1 more|arXiv (Cornell University)|Mar 15, 2013

Optimization and Variational Analysis参考文献 48被引用数 70

ひとこと要約

本稿では、上位レベルの変数に関して下位レベル最適解の二次近似を用いることで、関数評価回数を著しく削減する、新しい二段階進化計算手法BLEAQを提案する。古典的最適化の知見を進化計算フレームワークに統合することで、BLEAQは顕著な効率性向上を達成し、ベンチマーク問題において、ネスト型進化計算手法と比較して下位レベルの関数評価回数を最大10.88倍まで削減した。

ABSTRACT

Bilevel optimization problems are a class of challenging optimization problems, which contain two levels of optimization tasks. In these problems, the optimal solutions to the lower level problem become possible feasible candidates to the upper level problem. Such a requirement makes the optimization problem difficult to solve, and has kept the researchers busy towards devising methodologies, which can efficiently handle the problem. Despite the efforts, there hardly exists any effective methodology, which is capable of handling a complex bilevel problem. In this paper, we introduce bilevel evolutionary algorithm based on quadratic approximations (BLEAQ) of optimal lower level variables with respect to the upper level variables. The approach is capable of handling bilevel problems with different kinds of complexities in relatively smaller number of function evaluations. Ideas from classical optimization have been hybridized with evolutionary methods to generate an efficient optimization algorithm for generic bilevel problems. The efficacy of the algorithm has been shown on two sets of test problems. The first set is a recently proposed SMD test set, which contains problems with controllable complexities, and the second set contains standard test problems collected from the literature. The proposed method has been evaluated against two benchmarks, and the performance gain is observed to be significant.

研究の動機と目的

• 従来の進化計算手法を用いた複雑な二段階最適化問題の解法における高い計算コストに対処すること。
• 非凸的・非線形的・微分不能な二段階問題では失敗する古典的手法の限界を克服すること。
• 進化探索と解析的近似を組み合わせたハイブリッド手法を開発し、収束を加速すること。
• 制御可能な複雑さと現実世界への適用可能性を備えた、効率的でスケーラブルな二段階最適化ソリューションを提供すること。
• 二段階最適解における上位レベル変数から下位レベル最適解への最適マッピングを正確に近似可能にすること。

提案手法

• サンプルされたデータポイントを用いて、上位レベル変数の関数として下位レベル最適解の二次近似を構築する。
• 各イテレーションで下位レベル問題を再計算せずに、この近似を用いて下位レベル最適解を予測する。
• 進化計算フレームワークにこの二次近似を統合し、上位レベル空間における探索をガイドする。
• 有望な上位レベル解から得られる新しいサンプルポイントを用いて、反復的に二次モデルを更新する。
• サロゲートモデルに依存することで下位レベル関数評価回数を制限し、高価な正確な解法への依存を減らす。
• 進化探索（探索）と二次モデル予測（活用）のバランスを保ちながら収束を維持する。

実験結果

リサーチクエスチョン

• RQ1 下位レベル最適解マッピングの二次近似は、二段階最適化において下位レベル関数評価回数を顕著に削減できるか？
• RQ2 BLEAQアルゴリズムは、ネスト型進化戦略やWJL・WLDといった既存ベンチマークと比較して、どの程度効率的かつ正確か？
• RQ3 古典的近似と進化計算を組み合わせたハイブリッド手法は、複雑で非凸的な二段階問題をどの程度処理できるか？
• RQ4 二次近似モデルは、二段階最適解付近で真の最適マッピングを正確に捉える能力を保持しているか？
• RQ5 提案手法は、制御可能な複雑さを有する高次元二段階問題に対しても、効果的にスケーリング可能か？

主な発見

• テスト問題TP1において、BLEAQはネスト型進化計算手法と比較して、下位レベル関数評価回数の平均を最大10.88倍まで削減した。
• 10変数を有するSMDテストセットにおいて、BLEAQはベンチマーク手法と比較してはるかに少ない関数評価回数で収束を達成し、スケーラビリティを示した。
• テスト問題TP7では、BLEAQの平均下位レベル関数評価回数は272,971回であったのに対し、WJL手法は1,074,742回であり、3.94倍の改善が達成された。
• TP10では、関数評価回数と関数コール回数の中央値比が69.08であった。これは、モデルが下位レベルの重複する計算を効果的に削減していたことを示している。
• 多数の問題において、上位レベルと下位レベルの解の質が高く維持されており、上位レベルの精度中央値が0.0001未満であった。
• 二次近似モデルにより、下位レベル最適解を正確に予測することで収束が迅速化され、繰り返しの正確な解法の必要性が削減された。