[論文レビュー] High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces

David Eriksson, Martin Jankowiak|arXiv (Cornell University)|Feb 27, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 30被引用数 41

ひとこと要約

SAASBO は GP の長さスケールに対して疎性を誘導する事前分布を導入し、軸-aligned の疎な部分空間を識別。これにより推論のため NUTS を用いて百次元以上の次元でサンプル効率の良いベイズ最適化を実現。問題固有のハイパーパラメータなしで、合成データと実世界の問題でベースラインを上回る。

ABSTRACT

Bayesian optimization (BO) is a powerful paradigm for efficient optimization of black-box objective functions. High-dimensional BO presents a particular challenge, in part because the curse of dimensionality makes it difficult to define -- as well as do inference over -- a suitable class of surrogate models. We argue that Gaussian process surrogate models defined on sparse axis-aligned subspaces offer an attractive compromise between flexibility and parsimony. We demonstrate that our approach, which relies on Hamiltonian Monte Carlo for inference, can rapidly identify sparse subspaces relevant to modeling the unknown objective function, enabling sample-efficient high-dimensional BO. In an extensive suite of experiments comparing to existing methods for high-dimensional BO we demonstrate that our algorithm, Sparse Axis-Aligned Subspace BO (SAASBO), achieves excellent performance on several synthetic and real-world problems without the need to set problem-specific hyperparameters.

研究の動機と目的

• 高次元設定で限定評価しか行えない状況において、効率的なベイズ最適化の必要性を動機づける。
• GP カーネル長さスケールに対する疎性を誘導する事前分布（SAAS）を提案し、関連する部分空間を識別する。
• SAAS-GP サロゲートを適合させる推論フレームワークを開発する。NUTS と MAP。
• EI を取得して獲得を導き、データの拡大に対してロバスト性とスケーラビリティを実証する。
• SAASBO が問題固有のハイパーパラメータなしで強い性能を達成することを示す。

提案手法

• SAAS prior を持つガウス過程サロゲートを定義し、逆二乗長さスケールの疎性を誘導して軸-aligned の部分空間を好む。
• 縮小パラメータと長さスケールに半コーシー事前分布を使い、データ蓄積に応じて次元を自動的にオン/オフする。
• Kernel ハイパーパラメータをサンプルする No-U-Turn Sampler (NUTS) で推論、あるいは MAP をより高速な代替として。
• 獲得関数は事後カーネルサンプルを平均化した期待改善（EI）を用いて、ハイパーパラメータ不確実性を扱う。
• 次の照会点を全入力空間で選択するために、サンプルを平均化した EI を勾配法で最適化する。

実験結果

リサーチクエスチョン

• RQ1 SAAS prior は高次元で関数変動の大半を捉える疎で軸に沿った部分空間を識別できるのか？
• RQ2 NUTS による kernel ハイパーパラメータの積分は MAP と比較して獲得決定と最適化性能を改善するのか？
• RQ3 SAASBO は合成データと実世界の問題で、最先端の高次元 BO ベースラインと比較してどのように性能を示すのか？
• RQ4 SAASBO はハイパーパラメータ設定に頑健で、百次元級の問題に対してスケールするのか？

主な発見

• SAASBO は関連する部分空間を確実に識別し、MLE や弱い事前 GP と比較して高次元でより良いモデル適合を達成する。
• NUTS ベースの推論は MAP より真の部分空間を識別し、最適化性能を向上させる。
• SAASBO は、問題固有のハイパーパラメータなしで、合成ベンチマークと実世界の問題で百次元級まで強い実績を示す。
• 効果的な部分空間次元は最適化の過程で適応的に増大し、データ蓄積とともにより柔軟なモデリングを可能にする。
• SAAS prior は適応的な慎みを提供し、関連性の低い次元をオフにしつつ、重要なものが証拠の蓄積とともに寄与することを許す。