[論文レビュー] Computationally Efficient High-Dimensional Bayesian Optimization via Variable Selection

Yihang Shen, Carl Kingsford|arXiv (Cornell University)|Sep 20, 2021

Gaussian Processes and Bayesian Inference参考文献 38被引用数 4

ひとこと要約

本稿では、埋め込み次元を事前に指定する必要がなく、重要変数の軸合わせ部分空間を自動で特定・最適化することで、計算的に効率的な高次元ブラックボックス関数向けのベイズ最適化手法VS-BOを提案する。合成問題およびMOPTA08 やローバー軌道最適化といった実世界問題において、従来手法よりも優れた性能を発揮し、収束が早く、計算コストも低い。

ABSTRACT

Bayesian Optimization (BO) is a method for globally optimizing black-box functions. While BO has been successfully applied to many scenarios, developing effective BO algorithms that scale to functions with high-dimensional domains is still a challenge. Optimizing such functions by vanilla BO is extremely time-consuming. Alternative strategies for high-dimensional BO that are based on the idea of embedding the high-dimensional space to the one with low dimension are sensitive to the choice of the embedding dimension, which needs to be pre-specified. We develop a new computationally efficient high-dimensional BO method that exploits variable selection. Our method is able to automatically learn axis-aligned sub-spaces, i.e. spaces containing selected variables, without the demand of any pre-specified hyperparameters. We theoretically analyze the computational complexity of our algorithm and derive the regret bound. We empirically show the efficacy of our method on several synthetic and real problems.

研究の動機と目的

• シンプルなBOが計算的に非現実的となる高次元ブラックボックス関数へのスケーリングの課題に対処すること。
• 埋め込み次元を事前に指定する必要があり、投影誤差のリスクを伴う埋め込みベースBO手法の限界を克服すること。
• ハイパーパramータチューニングなしで重要変数を自動的に特定し、計算複雑性を低減する手法を開発すること。
• 非可逆的投影による問題を避けるために、選択された部分空間を軸合わせに保つこと。
• 提案手法の計算効率およびレグルム性能について理論的分析と実験的検証を実施すること。

提案手法

• 本手法は、目的関数に顕著に影響を与えるのは入力変数の一部に限られると仮定し、入力を重要変数（x_ipt）と非重要変数（x_nipt）に分割する。
• 獲得関数勾配を用いて反復的に重要変数を特定するガウス過程回帰に基づく変数選択戦略を採用する。
• アルゴリズムは、選択された重要変数の部分空間でのみベイズ最適化を実行するため、計算コストを著しく削減する。
• 変数選択を優先するための新しいサンプリング戦略を導入し、比較のための変種（VSBO mix）も使用する。
• 次元削減のための投影を避けるために、軸合わせ部分空間に焦点を当て、すべてのクエリが元の定義域内に保たれることを保証する。
• 理論的分析により、シンプルなBOと比較して、ガウス過程のフィッティングおよび獲得関数最適化における計算複雑性が低減されることを示している。

実験結果

リサーチクエスチョン

• RQ1 高次元ベイズ最適化における変数選択は、埋め込み次元を事前に指定する必要をなくすことができるか？
• RQ2 重要変数の自動特定は、最適化の効率性および収束速度にどのように影響するか？
• RQ3 計算コストおよび解の品質の観点から、軸合わせ部分空間最適化は埋め込みベース手法を上回るか？
• RQ4 変数選択の正確さが最適化アルゴリズムのレグルムおよび性能に与える影響は何か？
• RQ5 固定イテレーション数および時間予算下で、VS-BOはSAASBO やDragonflyといった最先端手法と比較してどうなるか？

主な発見

• Branin やHartmann6、Styblinski-Tang4 といった高次元合成関数において、VS-BOはシンプルなBOおよび埋め込みベース手法よりも収束が早く、計算コストも低い。
• 60次元のローバー軌道最適化問題において、VS-BOは固定イテレーション予算下でDragonfly や他のベースラインを上回ったが、Dragonfly は時間制約下で優れた性能を発揮していた。
• 124次元のMOPTA08 問題において、VS-BOはベースライン手法よりも優れた最適化性能を発揮したが、SAASBO はさらに優れていた（ただしSAASBOは著しく遅い）。
• VS-BOの変数選択プロセスは、最も影響力のある変数を正しく特定しており、摂動を加えた際の関数値分散が顕著に高いことが確認された。
• 実験的結果から、変数選択頻度と変数の重要度の間に強い相関が観察され、本手法が関連する部分空間を学習できていることが裏付けられた。
• VS-BOのサンプリング戦略は、常に混合戦略バージョン（VSBO mix）を上回り、提案された選択メカニズムの有効性が示された。