[論文レビュー] Parallel Bayesian Global Optimization of Expensive Functions

Jialei Wang, Scott Clark+2 more|arXiv (Cornell University)|Feb 16, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 31被引用数 67

ひとこと要約

本稿では、高価な関数の並列ベイジアングローバル最適化のための確率的勾配ベースの手法を提案する。無限小摂動分析（IPA）を用いて、マルチポイント期待改善（q-EI）の不偏勾配推定器を構築する。この手法により、複数の評価を効率的かつスケーラブルに処理でき、特にGPUアクセラレーションを活用した場合、q ≥ 4の範囲で閉形式手法を上回る計算時間の性能を発揮する。

ABSTRACT

We consider parallel global optimization of derivative-free expensive-to-evaluate functions, and propose an efficient method based on stochastic approximation for implementing a conceptual Bayesian optimization algorithm proposed by Ginsbourger et al. (2007). At the heart of this algorithm is maximizing the information criterion called the "multi-points expected improvement'', or the q-EI. To accomplish this, we use infinitessimal perturbation analysis (IPA) to construct a stochastic gradient estimator and show that this estimator is unbiased. We also show that the stochastic gradient ascent algorithm using the constructed gradient estimator converges to a stationary point of the q-EI surface, and therefore, as the number of multiple starts of the gradient ascent algorithm and the number of steps for each start grow large, the one-step Bayes optimal set of points is recovered. We show in numerical experiments that our method for maximizing the q-EI is faster than methods based on closed-form evaluation using high-dimensional integration, when considering many parallel function evaluations, and is comparable in speed when considering few. We also show that the resulting one-step Bayes optimal algorithm for parallel global optimization finds high-quality solutions with fewer evaluations than a heuristic based on approximately maximizing the q-EI. A high-quality open source implementation of this algorithm is available in the open source Metrics Optimization Engine (MOE).

研究の動機と目的

• 高次元積分に起因する計算コストの高さから、並列ベイジアン最適化におけるq-EI基準の効率的最大化という課題に取り組む。
• qの並列評価数の増加に伴いスケーリングが著しく劣化する既存の閉形式およびヒューリスティック手法の限界を克服する。
• 高次元および大規模なq最適化設定に適した、スケーラブルで微分可能かつ並列処理可能なq-EI最大化手法を開発する。
• q-EI勾配の高精度な近似により、高価なグローバル最適化における1ステップのベイズ最適選択を可能にする。
• 実世界の応用における実用的導入を可能にする、高性能でオープンソースの実装（Metrics Optimization Engine: MOE）を提供する。

提案手法

• 無限小摂動分析（IPA）を用いて、q-EI目的関数の不偏な確率的勾配推定器を構築する。
• IPAに基づく勾配推定器を活用した確率的勾配上昇アルゴリズムを実装し、q-EI表面を最適化する。
• 勾配の分散を低減し、高精度な推定を保証するために、多数の反復回数を有するモンテカルロサンプリングを実施する。
• モンテカルロ勾配推定に内在する自明な並列性を活用し、GPUアクセラレーションを実現することで、qの増加に伴うスケーラビリティを著しく向上させる。
• 確率的勾配上昇において減少するステップサイズ列を適用し、探索と活用のバランスを自動的に調整し、収束付近に計算リソースを集中させる。
• オープンソースのMetrics Optimization Engine（MOE）に本手法を統合し、CPUおよびGPU両方のデプロイメントをサポートし、本番環境での利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 IPAを用いた確率的勾配アプローチは、閉形式のq-EI勾配計算に対する不偏かつスケーラブルな代替手段を提供できるか？
• RQ2 提案手法の確率的勾配推定器の計算複雑度は、既存の閉形式手法と比較して、並列評価数（q）の増加に伴いどのように変化するか？
• RQ3 IPAに基づく勾配推定器を用いた確率的勾配上昇アルゴリズムは、q-EI表面の停留点に収束するか。理論的整合性は保証されるか？
• RQ4 特にGPUアクセラレーションを活用した場合、q ≥ 4の範囲で閉形式評価を上回る高速な計算時間を達成できるか？
• RQ5 解の質と関数評価回数の観点から、ヒューリスティックなq-EI最大化戦略と比較して、本手法の性能はどの程度か？

主な発見

• IPAに基づく確率的勾配推定器は不偏であり、確率的勾配上昇アルゴリズムがq-EI表面の停留点に収束することを保証する。
• GPUアクセラレーションを活用したMOE-qEI実装は、q ≥ 4の範囲で閉形式手法（ベンチマーク2）を上回り、qの増加に伴い著しく優れたスケーリング性能を示す。
• 10,000回のモンテカルロサンプルでさえも、勾配の分散が10⁻⁷未満に保たれ、計算コストのわずか一部で高精度な推定が可能である。
• CPUオンリーバージョンにおいても、q ≥ 4の範囲でGPUベースの閉形式手法を上回る性能を発揮し、専用ハードウェアが不要な強力な性能を示す。
• ヒューリスティックなq-EI最大化アプローチと比較して、より高品質な最適化解が、少ない関数評価回数で達成できる。
• 確率的勾配アプローチにより、最適化の初期段階では勾配推定の負荷を軽減し、収束に近づくに従い精度を高める適応的計算が可能になる。