[論文レビュー] BayesOpt: A Bayesian Optimization Library for Nonlinear Optimization, Experimental Design and Bandits

Rubén Martínez-Cantín|Zaguan (University of Zaragoza Repository)|May 29, 2014

Advanced Multi-Objective Optimization Algorithms参考文献 16被引用数 253

ひとこと要約

BayesOpt は、C、C++、Python、MATLAB/Octave 用のインターフェースを備えた、C++ で実装された高速でクロスプラットフォームなベイズ最適化ライブラリです。ガウス過程の代理モデルと適応的採択関数、カーネル学習、および逐次的コレスキー更新と事前計算項を用いた計算最適化により、非線形最適化、実験計画、確率的バンディット問題を効率的に行うことができます。最新のサンプル効率と速度を達成しています。

ABSTRACT

BayesOpt is a library with state-of-the-art Bayesian optimization methods to solve nonlinear optimization, stochastic bandits or sequential experimental design problems. Bayesian optimization is sample efficient by building a posterior distribution to capture the evidence and prior knowledge for the target function. Built in standard C++, the library is extremely efficient while being portable and flexible. It includes a common interface for C, C++, Python, Matlab and Octave.

研究の動機と目的

• 高パフォーマンスでポータブルかつ拡張可能なベイズ最適化ライブラリの開発を目的とし、高価で非線形的かつマルチモーダルな最適化問題を解くこと。
• 逐次的行列更新と事前計算を用いて、カーネル学習と採択関数最大化の計算効率を最適化することで、ベイズ最適化の計算効率を向上させること。
• 連続的、離散的、およびカテゴリカルな最適化を含め、高次元空間や制約付き問題をサポートする柔軟で拡張可能なフレームワークの提供。
• C、C++、Python、MATLAB/Octave 間でシームレスに統合できる統一的でオブジェクト指向のAPIを提供し、非ガウス過程やメタ基準など高度なモデルのサポートを実現すること。
• スレッドセーフティ、例外処理、およびGP-Hedgeのような感受性の高いアルゴリズムの安定実装を通じて、数値的整合性と正しさを確保すること。

提案手法

• ライブラリは準パラメトリックな代理モデルを用いる：$ f(\mathbf{x}) = \phi(\mathbf{x})^T\mathbf{w} + \epsilon(\mathbf{x}) $、ここで $ \epsilon(\mathbf{x}) $ は非パラメトリック過程（例：ガウス分布、スチューデントt分布、またはガウス分布の混合）である。
• 事後分布推論には、Empirical Bayes（ML/MAP）とMCMCをサポートし、重み $ \mathbf{w} $、ノイズ分散 $ \sigma_s^2 $、カーネルハイパーパrameter $ \theta $ にハイパーパラメータを設定する。
• カーネルパラメータ $ \theta $ は、勾配に基づかない方法（例：DIRECT や BOBYQA）を用いて最適化され、CPU時間の観点で勾配ベースの手法を上回り、導出計算のオーバーヘッドを回避する。
• カーネル行列 $ \mathbf{K}(\theta) $ のコレスキー分解は逐次的に計算され、ランク1更新により1点追加ごとのコストを $ \mathcal{O}(n^3) $ から $ \mathcal{O}(n^2) $ に削減する。
• クエリポイント $ \mathbf{x} $ に依存しない項を事前に計算することで、採択関数の評価を高速化し、効率的な逐次最適化を可能にする。
• ファクトリーデザインパターンにより、実行時におけるカーネル、基準、モデルの組み合わせが可能となり、$ \text{cHedge}(\text{cEI}, \text{cLCB}, \text{cThompsonSampling}) $ のような複雑な組み合わせもサポートする。

実験結果

リサーチクエスチョン

• RQ1 高価で非線形的かつマルチモーダルな関数に対するベイズ最適化を、どのように計算的に効率化できるか？
• RQ2 逐次的コレスキー更新と事前計算の実装が、実際のベイズ最適化のパフォーマンスに与える影響は何か？
• RQ3 クロス言語対応を備えた単一の統一ライブラリが、専用のオープンソース代替品と比較して競争力のあるパフォーマンスを達成できるか？
• RQ4 勾配ベースの手法と比較して、カーネルハイパーパrameter学習に用いる勾配非依存最適化手法の有効性はいかほどか？
• RQ5 柔軟で合成可能なコンponents（カーネル、基準、ハイパーパラメータ）を用いることで、多様な問題タイプに適応可能なベイズ最適化の柔軟性はどの程度向上するか？

主な発見

• BayesOpt は、100 回の反復で Camelback 関数において SMAC、HyperOpt、Spearmint、DiceOptim よりもサンプル効率と速度で優れており、ギャップが 0.00000 に達している。
• 200 回の反復で BayesOpt1 は Camelback 関数でギャップ 0.00000、Branin 関数でギャップ 0.04742 を達成し、精度において Spearmint や HyperOpt を大きく上回った。
• BayesOpt2 は 100 秒の実行時間で Camelback 関数においてギャップ 0.00000 を達成したが、HyperOpt はわずか 8 秒で実行したもののギャップが 0.03383 と高かった。
• 逐次的コレスキー更新の導入により、1反復あたりのコストが $ \mathcal{O}(n^3) $ から $ \mathcal{O}(n^2) $ に削減され、スケーラビリティが顕著に向上した。
• クエリポイントに依存しない項を事前計算することで、採択関数最大化における重複計算が削減され、全体の効率性が向上した。
• 最小限の設定で高いパフォーマンスを達成でき、他のツールが 5–10 個の初期設計点を必要とするのに対し、本ライブラリはたった 2 個の初期設計点でも競争力のある結果を出した。