[論文レビュー] Blackbox: A procedure for parallel optimization of expensive black-box functions

Paul Knysh, Yannis P. Korkolis|arXiv (Cornell University)|May 3, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 4被引用数 32

ひとこと要約

本稿では、径数基底関数（RBFs）と空間スケーリングを用いた、高価なブラックボックス関数の並列最適化手順であるBlackboxを提案する。初期設計にはラテンハイパーキューブサンプリングを、修正されたCORSアルゴリズムに適応的サンプリングを組み合わせ、マルチコア並列処理を実装することで、最小限の関数評価回数でグローバル最適解を効率的に特定する。特に高次元でコストの高い最適化問題において、応答面モデルの精度を顕著に向上させる。

ABSTRACT

This note provides a description of a procedure that is designed to efficiently optimize expensive black-box functions. It uses the response surface methodology by incorporating radial basis functions as the response model. A simple method based on a Latin hypercube is used for initial sampling. A modified version of CORS algorithm with space rescaling is used for the subsequent sampling. The procedure is able to scale on multicore processors by performing multiple function evaluations in parallel. The source code of the procedure is written in Python.

研究の動機と目的

• 各評価が計算的に高価で、解析的勾配が得られないブラックボックス関数の最適化という課題に対処すること。
• 適応的サンプリングと空間スケーリングを用いた径数基底関数（RBFs）を用いて、高次元空間における応答面モデルの精度を向上させること。
• 関数評価の高速化と全体の最適化時間を短縮するために、マルチコアプロセッサ上で効率的な並列処理を可能にすること。
• グローバル最適解に到達するための関数評価回数を最小限に抑える、強固でスケーラブルな手順を開発すること。
• RBFフィットクラウド共分散に基づく空間スケーリングを導入することで、悪条件または谷状の目的関数を効果的に処理すること。

提案手法

• 初期サンプリングは、ランダムな平面交換による反復的改善を用いたカスタムラテンハイパーキューブ構築により、スプレッド指標Sを最小化する。
• 応答面は、適合性の質を向上させるために多変量多項式項を含む立方体径数基底関数（RBFs）を用いてモデル化される。
• 関数値は、初期サンプルの最良値から得られるしきい値tを用いて[0,1]にスケーリングされ、外れ値の影響を低減し、解釈性を向上させる。
• 以降のサンプリングには、空間スケーリングを組み込んだ修正CORSアルゴリズムが用いられる：10,000個以上のランダム点のクラウドが生成され、上位5%の共分散行列が変換行列Tの定義に用いられる。
• 変換行列Tは、共分散行列の固有ベクトルおよび固有値の逆平方根から導出され、谷状の特徴に沿った主方向に探索空間を引き伸ばす。
• 並列処理は、Pythonのmultiprocessing.mapを用いて実装され、利用可能なコアにサンプルバッチが分散され、コア数に比例した線形スループットが達成される。

実験結果

リサーチクエスチョン

• RQ1 RBFに基づく応答面法は、評価回数が限られた高価なブラックボックス関数を効果的に最適化できるか？
• RQ2 ラテンハイパーキューブサンプリングは、初期サンプルのスプレッドを最小限に抑えつつ、探索空間を均一にカバーできるようにどのように改善できるか？
• RQ3 RBFフィットクラウド共分散に基づく空間スケーリングは、谷状領域における応答面の精度をどの程度向上させるか？
• RQ4 CORSアルゴリズムは、高次元空間における収束性を向上させる密度減少型の適応的サンプリングをサポートするようにどのように修正できるか？
• RQ5 マルチコアアーキテクチャ上で並列実行することで、どの程度のスループット向上と最適化効率が達成できるか？

主な発見

• 15回の評価（初期10回、以降5回）でテスト関数のグローバル最小値を正常に特定した。これは、サンプリングが限られた状況下でも有効であることを示している。
• 30回の評価（初期20回、以降10回）では、応答面がグローバル最小値および一部の局所最小値をよりよく捉えており、サンプリング回数の増加に伴い精度が向上していることが明らかになった。
• 空間スケーリングはRBFフィット品質を顕著に向上させる。特に狭い谷を持つ非凸関数に対しては、スケーリング済みのフィットが真の関数形状をより正確に再現している。
• しきい値ベースの関数値スケーリングにより、外れ値の影響が低減され、応答面モデルの解釈性と安定性が向上した。
• 関数評価がPythonのmultiprocessingモジュールを用いて並列分散処理されるため、コア数に比例した線形スループットが達成された。
• 適応的密度減衰と空間スケーリングを組み合わせた修正CORSアルゴリズムにより、最小限の関数評価で複雑な高次元の目的関数のランドスケープを効率的に探索できるようになった。