[論文レビュー] A General Stochastic Algorithmic Framework for Minimizing Expensive Black Box Objective Functions Based on Surrogate Models and Sensitivity Analysis

Yilun Wang, Christine A. Shoemaker|arXiv (Cornell University)|Oct 23, 2014

Advanced Multi-Objective Optimization Algorithms参考文献 33被引用数 33

ひとこと要約

本稿では、補助モデルと感度分析を用いて高価なブラックボックス関数を最小化するための確率的アルゴリズムフレームワークSO-SAを提案する。候補点を生成する際、最も感度の高い座標のみを段階的に摂動することで、高次元問題におけるグローバル収束性と性能が向上し、ベンチマークおよび実世界の地下水補正問題において、EGO や NOMADm といった最先端手法を上回る結果を得た。

ABSTRACT

We are focusing on bound constrained global optimization problems, whose objective functions are computationally expensive black-box functions and have multiple local minima. The recently popular Metric Stochastic Response Surface (MSRS) algorithm proposed by \cite{Regis2007SRBF} based on adaptive or sequential learning based on response surfaces is revisited and further extended for better performance in case of higher dimensional problems. Specifically, we propose a new way to generate the candidate points which the next function evaluation point is picked from according to the metric criteria, based on a new definition of distance, and prove the global convergence of the corresponding. Correspondingly, a more adaptive implementation of MSRS, named "SO-SA", is presented. "SO-SA" is is more likely to perturb those most sensitive coordinates when generating the candidate points, instead of perturbing all coordinates simultaneously. Numerical experiments on both synthetic problems and real problems demonstrate the advantages of our new algorithm, compared with many state of the art alternatives.}

研究の動機と目的

• 計算コストが高く、非凸的で微分不能なブラックボックス関数の最小化という課題に取り組む。
• 高次元問題における既存の補助モデルベース手法の限界（グローバル近似の質の低さや非効率な探索）を克服する。
• 感度分析を候補点生成に組み込むことで、メトリック確率的応答面（MSRS）アルゴリズムの効率性と収束性を向上させる。
• 全次元の摂動に依存するのを減らし、感度の高い変数に焦点を当てることで、より適応的かつスケーラブルなフレームワークを構築する。
• 合成テスト問題および実世界の地下水モデル補正タスクにおいて、最先端の代替手法と比較して優れた性能を示す。

提案手法

• 局所的精錬を促進するため、摂動された座標数に基づく新しい距離尺度を提案し、少ない座標が摂動された場合に近接領域を定義する。
• 候補点生成における座標固有の摂動確率を導入し、低い確率は局所探索を、高い確率はグローバル探索を促進する。
• 感度分析を統合し、最も影響力のある変数の摂動を優先することで、探索方向の効率性を向上させる。
• 径数基底関数（RBF）を用いた補助モデルとメトリックに基づく次回評価点選択を用い、SO-SA を MSRS アルゴリズムの変種として実装する。
• 問題ごとにアルゴリズムを比較するための定量的性能指標 $ Q(A,P) $ を使用し、最良の既知解からの相対的偏差を測定する。
• 高価な「思考時間」を最小限に抑えながら、高品質な候補選択を維持するため、計算オーバーヘッドと関数評価コストのバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 従来の手法が劣化する高次元問題において、補助モデルベースのグローバル最適化をどのようにしてより効果的にすることができるか？
• RQ2 感度分析を、確率的応答面法における候補点選択をガイドするために効果的に活用できるか？
• RQ3 一様なランダム摂動と比較して、適応的かつ座標固有の摂動は、高価なブラックボックス最適化における収束性と解の質を向上させるか？
• RQ4 SO-SA は、高次元テスト関数において EGO、NOMADm、DYCORS および他の最先端手法と比較して、性能と効率性においてどのように差をつけるか？
• RQ5 候補点生成における計算オーバーヘッドと、最適化の正確性および収束速度の向上の間には、どのようなトレードオフがあるか？

主な発見

• SO-SA はすべてのテスト問題において、性能指標 $ Q(A) = 0 $ を達成し、最良またはほぼ最良の解を一貫して得た。
• Ackley30 問題では、SO-SA が -21.55 の最良目的値を達成し、EGO（-5.37）や NOMADm（-10.68）を大きく上回った。
• Rastrigin30 問題では、SO-SA が -26.48 を達成し、EGO（113.32）や SSKm（4.07）を大きく上回り、マルチモーダルなランドスケープにおける優れたグローバル探索能力を示した。
• 高次元の Schoen35 問題（$ d=35 $）では、SO-SA が -84.39 を達成し、すべてのアルゴリズムの中で最高の結果を出した。EGO と NOMADm はそれぞれ -8.58 と -16.26 にとどまり、著しく劣っていた。
• 計算オーバーヘッド時間（$ 1.2 \times 10^3 $ 秒）が高かったが、SO-SA の性能は EGO（$ 1.8 \times 10^4 $ 秒、最悪の結果）を大きく上回り、解の質に見合った計算コストの投資が正当化された。
• Keane30（$ d=30 $）や TB32（$ d=32 $）のような多様な問題においても、SO-SA は強力な性能を維持し、高次元で複雑なランドスケープにおいても頑健であった。