[論文レビュー] Bayesian Optimization over Hybrid Spaces

Aryan Deshwal, Syrine Belakaria+1 more|arXiv (Cornell University)|Jun 8, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 44被引用数 4

ひとこと要約

本稿では、離散変数と連続変数を組み合わせたハイブリッド空間における最適化を目的とした、新しいベイズ最適化フレームワークHyBOを提案する。本手法は、複雑な相互作用をモデル化するための加法的拡散カーネルを用いる。カーネルの普遍近似性を証明し、合成および実世界のベンチマーク（材料設計やハイパーパramータ最適化含む）において、最先端手法を上回る性能を示す。

ABSTRACT

We consider the problem of optimizing hybrid structures (mixture of discrete and continuous input variables) via expensive black-box function evaluations. This problem arises in many real-world applications. For example, in materials design optimization via lab experiments, discrete and continuous variables correspond to the presence/absence of primitive elements and their relative concentrations respectively. The key challenge is to accurately model the complex interactions between discrete and continuous variables. In this paper, we propose a novel approach referred as Hybrid Bayesian Optimization (HyBO) by utilizing diffusion kernels, which are naturally defined over continuous and discrete variables. We develop a principled approach for constructing diffusion kernels over hybrid spaces by utilizing the additive kernel formulation, which allows additive interactions of all orders in a tractable manner. We theoretically analyze the modeling strength of additive hybrid kernels and prove that it has the universal approximation property. Our experiments on synthetic and six diverse real-world benchmarks show that HyBO significantly outperforms the state-of-the-art methods.

研究の動機と目的

• 離散変数と連続変数を組み合わせたハイブリッド入力空間における、高価なブラックボックス関数の最適化という課題に対処すること。
• 離散変数と連続変数の間の複雑な相互作用を捉える、原理的でカーネルベースの surrogate モデリング手法を開発すること。
• 特に普遍近似性を含む、ハイブリッドカーネルのモデル化能力に関する理論的保証を確立すること。
• 提案手法の優位性を、多様な実世界および合成最適化タスクにおいて実証的に検証すること。

提案手法

• ハイブリッド入力空間におけるガウス過程を用いた、加法的拡散カーネルを導入したハイブリッドベイズ最適化（HyBO）フレームワークを提案する。
• すべての相互作用次数にわたる加法的構成により、離散変数および連続変数の基本的拡散カーネルを組み合わせてハイブリッドカーネルを構築する。
• 混合変数間の相互作用を効率的にモデル化しつつ解釈可能性を保つ、原理的なカーネル構築手法を採用する。
• 連続変数の拡散カーネルに関する既知の結果と、離散変数の拡散カーネルに関する新規の結果を統合し、加法的ハイブリッドカーネルの普遍近似性を証明する。
• 制約を扱い、ハイブリッド空間における有効な探索を保証するため、獲得関数最適化手順（AFO）を採用する。
• 実世界の問題（材料設計、ロボット制御、ハイパーパramータチューニングなど）にフレームワークを適用し、実証的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースの surrogate モデルは、ハイブリッド最適化における離散変数と連続変数の間の複雑な相互作用を効果的に捉えることができるか？
• RQ2 提案された加法的ハイブリッド拡散カーネルは、ハイブリッド空間上の関数に対して普遍近似性を有するか？
• RQ3 ハイブリッド最適化問題において、HyBOは最先端手法と比較して収束速度および最終的な目的関数値の点で優れているか？
• RQ4 加法的カーネル構造は、非加法的または非拡散ベースの代替手法と比較して、モデルの精度および最適化性能をどの程度向上させるか？

主な発見

• HyBOは、材料設計、ロボット制御、ハイパーパramータ最適化を含む6つの多様な実世界ベンチマークで、最先端手法を著しく上回る。
• 合成ベンチマークでは、Synthetic Function 1 について、HyBOは平均関数値 79.7 を達成した。これに対して、2番目に優れた手法（G-M et al.）は 99.4 を記録し、HyBOは20%の改善を示した。
• Synthetic Function 2 については、200イテレーション後に HyBO が 394.6 を達成し、2番目に優れた手法（420）を6%上回った。
• アブレーションスタディの結果、周辺化を含まない HyBO も、完全な HyBO とほぼ同等の性能を示し、加法的ハイブリッド拡散カーネルの強力さを裏付けた。
• Cont-BO（すべての変数を連続変数として扱う手法）は、他のすべての手法よりも性能が悪く、ハイブリッド構造を明示的にモデル化する必要性を強調した。