[論文レビュー] Think Global and Act Local: Bayesian Optimisation over High-Dimensional Categorical and Mixed Search Spaces

Xingchen Wan, Loc Nguyen+4 more|arXiv (Cornell University)|Feb 14, 2021

Advanced Bandit Algorithms Research参考文献 47被引用数 14

ひとこと要約

本論文は、高次元のカテゴリカルおよび混合変数空間におけるベイズ最適化を効率的に行うために、局所的トラスト領域と特化したカーネルを組み合わせたCasmopolitanを提案する。この手法は、理論的収束保証と従来のベースラインより優れたサンプル効率性を達成し、最先端の性能を発揮する。

ABSTRACT

High-dimensional black-box optimisation remains an important yet notoriously challenging problem. Despite the success of Bayesian optimisation methods on continuous domains, domains that are categorical, or that mix continuous and categorical variables, remain challenging. We propose a novel solution -- we combine local optimisation with a tailored kernel design, effectively handling high-dimensional categorical and mixed search spaces, whilst retaining sample efficiency. We further derive convergence guarantee for the proposed approach. Finally, we demonstrate empirically that our method outperforms the current baselines on a variety of synthetic and real-world tasks in terms of performance, computational costs, or both.

研究の動機と目的

• 次元の高いブラックボックス最適化の課題に取り組むこと。特に、次元の多さと非連続的な構造のため、標準的なガウス過程手法が失敗するカテゴリカルおよび混合変数探索空間において。
• ワンホットエンコーディングと標準カーネルの限界を克服すること。これらは次元の呪いを悪化させ、カテゴリカル構造を効果的にモデル化できない。
• サンプル効率的で、グローバルに収束するベイズ最適化フレームワークを構築すること。同時に、高次元問題にスケーリング可能でありながら表現力を維持する。
• カテゴリカルおよび混合空間における最適化の理論的収束保証を提供すること。これは、先行研究におけるギャップである。

提案手法

• カテゴリカルおよび混合変数空間に特化した新しいカーネル設計を導入し、高次元の離散ドメインにおける効果的なガウス過程回帰を可能にする。
• 局所的トラスト領域戦略を採用し、現在の最良点の近傍に最適化を制限することで、サンプル効率を向上させ、過剰な探索を回避する。
• カテゴリカルおよび連続変数の構造を尊重する混合カーネルを用いた、ガウス過程に基づくサロゲートモデルを採用する。
• 局所最適化を伴うリスタート機構を適用し、悪い局所最適解から脱出し、グローバル最大値に収束する。
• 再生核ヒルベルト空間（RKHS）内に、重要な点で目的関数と一致する関数が存在すると仮定することで、理論的収束を導出する。これによりレグレットバウンドが得られる。
• 情報ゲインバウンドと事後分散制御を活用し、緩い仮定のもとで収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ最適化フレームワークは、高次元のカテゴリカルおよび混合変数空間でグローバル収束を達成できるか？
• RQ2 ガウス過程サロゲートモデルは、カテゴリカル変数の非連続的かつ非順序的な性質を効果的に扱えるようにどのように適応できるか？
• RQ3 局所的トラスト領域は、グローバル探索を犠牲にすることなく、高次元離散最適化におけるサンプル効率と収束を向上させられるか？
• RQ4 非滑らかでマルチモーダルな目的関数を持つ混合カテゴリカル・連続空間において、収束に対する理論的保証をどのように提供できるか？
• RQ5 既存のベースラインと比較して、提案手法はサンプル効率性と計算コストの両面でどのように実験的に優れているか？

主な発見

• 提案手法Casmopolitanは、高次元のカテゴリカルおよび混合変数最適化を含む合成的および実世界のタスクにおいて、最先端の性能を達成する。
• Casmopolitanは、既存のベースラインと比較して、最適解に到達するための関数評価回数を削減する優れたサンプル効率性を示す。
• 緩い仮定のもとでグローバル最大値に収束し、情報ゲインと事後分散制御を用いた理論的レグレットバウンドが導出された。
• 実験結果から、Casmopolitanは多様なベンチマークタスクにおいて、性能と計算コストの両面で既存手法を上回っている。
• 収束解析は、純粋にカテゴリカルな設定および混合変数設定の両方で有効であり、これらの挑戦的なドメインにおけるベイズ最適化の理論的基盤を拡張している。