[論文レビュー] Solving the G-problems in less than 500 iterations: Improved efficient constrained optimization by surrogate modeling and adaptive parameter control

Samineh Bagheri, Wolfgang Konen+2 more|arXiv (Cornell University)|Dec 31, 2015

Advanced Multi-Objective Optimization Algorithms参考文献 29被引用数 7

ひとこと要約

SACOBRA は、自己調整型の制約付き最適化アルゴリズムであり、適応的パラメータ制御、plog 変換、入力空間のスケーリングを統合することで、手動チューニングを必要とせず 500 回未満の関数評価で高品質な解を達成する。G-problems および MOPTA08 ベンチマークにおいて、固定パラメータの COBRA より優れた性能を示し、11 問中 10 問の G-problems を効率的に解ける。

ABSTRACT

Constrained optimization of high-dimensional numerical problems plays an important role in many scientific and industrial applications. Function evaluations in many industrial applications are severely limited and no analytical information about objective function and constraint functions is available. For such expensive black-box optimization tasks, the constraint optimization algorithm COBRA was proposed, making use of RBF surrogate modeling for both the objective and the constraint functions. COBRA has shown remarkable success in solving reliably complex benchmark problems in less than 500 function evaluations. Unfortunately, COBRA requires careful adjustment of parameters in order to do so. In this work we present a new self-adjusting algorithm SACOBRA, which is based on COBRA and capable to achieve high-quality results with very few function evaluations and no parameter tuning. It is shown with the help of performance profiles on a set of benchmark problems (G-problems, MOPTA08) that SACOBRA consistently outperforms any COBRA algorithm with fixed parameter setting. We analyze the importance of the several new elements in SACOBRA and find that each element of SACOBRA plays a role to boost up the overall optimization performance. We discuss the reasons behind and get in this way a better understanding of high-quality RBF surrogate modeling.

研究の動機と目的

• 産業応用における高価なブラックボックス制約付き最適化の課題に、関数評価回数が限られる状況で対処すること。
• COBRA の主な限界である手動によるパラメータチューニングへの感受性を克服し、自動的で自己調整型のパラメータ制御を可能にすること。
• 数値的不安定性や非理想的な関数の形状に起因する制約付き最適化における径路基底関数（RBF）サロゲートモデリングのロバスト性と効率性を向上させること。
• 問題構造に関する事前知識がほとんどない状況でも、最小限の関数評価で G-problems や MOPTA08 といったベンチマーク問題で最先端の性能を達成すること。

提案手法

• COBRA の拡張として SACOBRA を導入し、目的関数および制約関数の両方のサロゲートモデリングに RBF を活用することで、高価な実関数評価を削減する。
• アルゴリズムの主要パラメータ（例：信頼領域の大きさ、サンプリング密度）をユーザー入力を不要にしながら最適化中に動的に調整する適応的パラメータ制御を実装する。
• 急勾配や平坦領域を示す関数の RBF モデリングを安定化させるために、条件付き plog 変換を適用する。
• RBF 学習における悪条件化を防ぐための数値的安定化技術として、入力空間のスケーリングを組み込み、その重要性を実証的に裏付ける。
• サロゲートモデルの予測に基づくリペア機構を用いて、非可行解を再び可能領域へと導くことで、制約内での収束を維持する。
• 確率的ランク付けにインspired されたメカニズムを統合し、探索と制約違反の処理のバランスを取ることで、グローバルサーチ能力を強化する。

実験結果

リサーチクエスチョン

• RQ1 RBF サロゲートモデリングにおける数値的不安定性は、関数変換および入力スケーリングによって同定・緩和可能か？
• RQ2 SACOBRA は、同じ初期パラメータと手動チューニングなしに、あらゆる多様な問題タイプの G-problems をすべて効率的に解けるか？
• RQ3 適応的制御を有するサロゲートベースのアプローチで、11 問すべての G-problems を 500 回未満の関数評価で解くことは可能か？
• RQ4 SACOBRA の個々の構成要素（例：plog、スケーリング、適応的制御）は、異なる問題クラスにおいてどのように性能向上に寄与しているか？

主な発見

• SACOBRA は 11 問中 10 問の G-problems を 500 回未満の関数評価で解けるが、極めてマルチモーダルな G02 問題を除く。
• ベンチマークセット全体における性能プロファイルを測定した結果、SACOBRA の全体的な最適化性能は、固定パラメータの COBRA よりも 50% 高い。
• 条件付き plog 変換は、急勾配や平坦領域を示す関数の RBF モデリング精度を顕著に向上させ、近似誤差を低減する。
• 入力空間のスケーリングは、RBF 学習における数値的安定性にとって不可欠であることが実証的に裏付けられ、高次元または適切にスケーリングされていない問題で一般的に見られる悪条件化の問題を解消する。
• SACOBRA の各改善要素（適応的制御、plog、スケーリング）は、特定の問題サブセットにおいて性能向上に寄与するが、他の問題では結果が劣化しない。
• SACOBRA は G-problems において確率的ランク付け法やペナルティベース手法を上回り、300～1000倍も少ない関数評価回数で同等またはより高い精度を達成する。