[論文レビュー] Vanilla Bayesian Optimization Performs Great in High Dimensions

Carl Hvarfner, Erik Orm Hellsten+1 more|arXiv (Cornell University)|Feb 3, 2024

Data Visualization and Analytics被引用数 7

ひとこと要約

本論文は、ガウス過程の長さスケール priors を次元数に応じてスケーリングすることで、バニラベイズ最適化が多くのタスクで最新の高次元 BO 手法と競合する、あるいはそれらを上回る性能を発揮し得ることを示している。

ABSTRACT

High-dimensional problems have long been considered the Achilles' heel of Bayesian optimization algorithms. Spurred by the curse of dimensionality, a large collection of algorithms aim to make it more performant in this setting, commonly by imposing various simplifying assumptions on the objective. In this paper, we identify the degeneracies that make vanilla Bayesian optimization poorly suited to high-dimensional tasks, and further show how existing algorithms address these degeneracies through the lens of lowering the model complexity. Moreover, we propose an enhancement to the prior assumptions that are typical to vanilla Bayesian optimization algorithms, which reduces the complexity to manageable levels without imposing structural restrictions on the objective. Our modification - a simple scaling of the Gaussian process lengthscale prior with the dimensionality - reveals that standard Bayesian optimization works drastically better than previously thought in high dimensions, clearly outperforming existing state-of-the-art algorithms on multiple commonly considered real-world high-dimensional tasks.

研究の動機と目的

• 次元の大きさだけでなく、モデルの複雑さが高次元BOを妨げるメカニズムを明らかにする。
• 高次元で生じるバニラBOの退化（degeneracy）を特定する。
• スケーラブルなバニラBOを可能にする、シンプルでプラグアンドプレーな事前分布のスケーリング変更を提案する。
• 実世界のタスクで、修正したバニラBOを最先端の高次元BO手法と経験的に比較検証する。

提案手法

• モデルの複雑さとMIG（Maximal Information Gain）を用いて高次元BOの性能を分析する。
• バニラBOを、ARD長さスケールを持つ標準GP、EIベースの獲得、MAPハイパーパラメータを用いるものとして定義する。
• 長さスケールをスケーリングしない限り、次元の増加は問題の複雑さを増すことを示す。
• 複雑さを適切に保ちながら、目的関数の構造を課さずに次元性に応じて長さスケールの事前分布をスケーリングすることを提案する。
• 信号分散を固定して認識的不確実性を安定化させ、ハイパーパラメータを較正する。
• 提案スケーリングの有無で、合成データと実データのタスクで複数の高次元ベースラインとバニラBOを実証的に比較する。

実験結果

リサーチクエスチョン

• RQ1 MIG で捉えられるモデルの複雑さは、高次元でのBOの性能にどのような影響を与えるのか？
• RQ2 構造的仮定なしに、GP長さスケールの事前分布を単純に変更するだけで、高次元BOを効果的に機能させることができるか？

主な発見

• 長さスケールをスケーリングしたバニラBOは、有意義な相関を維持し、高次元性による退化を回避する。
• 提案手法は、実世界のタスクの幅広い範囲で既存の高次元BOアルゴリズムを大幅に上回る。
• 情報量の少ないモデルにおけるEIは必ずしも境界を探索するわけではない。その挙動はモデルの相関とインカンバーントに支配される。
• 次元に応じて長さスケールの事前分布をスケーリングするとMIGの増大を抑え、専門的なHDBO手法に類似した平坦な複雑性曲線を生み出す。
• この変更は追加のハイパーパラメータを必要とせず、MAPベースのBO設定と整合する。