[論文レビュー] Increasing the Scope as You Learn: Adaptive Bayesian Optimization in Nested Subspaces

Leonard Papenmeier, Luigi Nardi+1 more|arXiv (Cornell University)|Apr 22, 2023

Machine Learning and Data Classification被引用数 10

ひとこと要約

BAxUSは、 Nested random subspacesを用いて時間とともに探索空間を拡大する適応的ベイズ最適化を導入し、理論保証と高次元タスク全般における強力な実証的性能を示す。

ABSTRACT

Recent advances have extended the scope of Bayesian optimization (BO) to expensive-to-evaluate black-box functions with dozens of dimensions, aspiring to unlock impactful applications, for example, in the life sciences, neural architecture search, and robotics. However, a closer examination reveals that the state-of-the-art methods for high-dimensional Bayesian optimization (HDBO) suffer from degrading performance as the number of dimensions increases or even risk failure if certain unverifiable assumptions are not met. This paper proposes BAxUS that leverages a novel family of nested random subspaces to adapt the space it optimizes over to the problem. This ensures high performance while removing the risk of failure, which we assert via theoretical guarantees. A comprehensive evaluation demonstrates that BAxUS achieves better results than the state-of-the-art methods for a broad set of applications.

研究の動機と目的

• 数百次元におけるスケーラブルなベイズ最適化の必要性を動機づける。
• 過去の観測を保持しつつ探索サブスペースを適応的に拡大するBAxUSを提案する。
• 埋め込みの成功と収束に関する理論的保証を提供する。
• 多様なベンチマークにおいて最先端の高次元BO手法に対する経験的優位性を示す。

提案手法

• ネストされたランダムサブスペース埋め込みを用いてターゲット空間の次元性を逐次的に増加させる、BAxUSというベイズ最適化フレームワークを導入する。
• 低次元のターゲット空間からD次元の入力空間へ写像する疎な埋め込み行列 S^T を用い、効率的な最適化を可能にする。
• 進化する領域内で評価点を選択するために、信頼域法（TuRBOに触発）とThompsonサンプリングを採用し、観測された進捗に基づいてTRサイズを調整する。
• ターゲット空間の拡張に合わせて入力次元を均等に寄与するグループにビン分けすることで次元性を拡大する分割戦略を提供する。
• BAxUSの全体的収束性を証明し、既存の埋め込み（例：HeSBO）と比較して最悪ケースの埋め込み成功率を評価する。
• 連続するターゲット次元性にわたって評価予算を配分するデータ駆動スケジュールを定義・使用する。

実験結果

リサーチクエスチョン

• RQ1 時間とともにターゲット次元性を増やしつつ、BAxUSはグローバル最適解を安定して包含できるか？
• RQ2 現実的な問題次元において、BAxUSの埋め込みは従来の疎埋め込み（例：HeSBO）よりも最悪ケースの成功確率を向上させるか？
• RQ3 適応的サブスペース拡張は高次元・ノイズのある・アクティブサブスペースのベンチマークにおいて、最先端のBO手法と比較して性能にどのように影響するか？

主な発見

• BAxUSは最先端手法と比較して高次元タスクの幅広い集合で優れた性能を達成する。
• BAxUSの埋め込みはHeSBOよりグローバル最適解を包含する最悪ケースの保証が大きく、疎埋め込みの中で最適である。
• 入力次元が大きくなるにつれてBAxUSが最適解を包含する確率はHeSBOに収束し、有限のDにおいてもBAxUSは頑健性を維持する。
• 実証結果は、アクティブサブスペースを含むベンチマークでBAxUSが競合他社を上回り、観測ノイズに対しても頑健であることを示している。
• アブレーション研究は、ネストされたBAxUS埋め込みの構成要素が、類似のネストされたHeSBO埋め込みに対する利得に大きく寄与することを示している。
• BAxUSは複数回の実行と多様なタスク設定において高い一貫性を示す。