[論文レビュー] A warped kernel improving robustness in Bayesian optimization via random embeddings

Mickaël Binois, David Ginsbourger+1 more|arXiv (Cornell University)|Nov 13, 2014

Advanced Multi-Objective Optimization Algorithms参考文献 8被引用数 5

ひとこと要約

本稿は、埋め込み次元の冗長性と次元の問題を軽減するため、埋め込み点を変換することで頑健性を向上させる、$k_{\Psi}$ と呼ばれる歪みのあるカーネルを提案する。超立方体の境界に投影された点を埋め込み部分空間に戻すことで、次元の低いカーネルの性質を維持しながら、重複評価を回避する。25次元のテスト問題（内在次元6）において、$k_{\mathcal{Y}}$ や $k_{\mathcal{X}}$ を上回る性能を発揮する。

ABSTRACT

This works extends the Random Embedding Bayesian Optimization approach by integrating a warping of the high dimensional subspace within the covariance kernel. The proposed warping, that relies on elementary geometric considerations, allows mitigating the drawbacks of the high extrinsic dimensionality while avoiding the algorithm to evaluate points giving redundant information. It also alleviates constraints on bound selection for the embedded domain, thus improving the robustness, as illustrated with a test case with 25 variables and intrinsic dimension 6.

研究の動機と目的

• 高次元で内在次元が小さい問題における、既存のREMBOカーネルの頑健性の制限を解消すること。
• 超立方体領域における非一対一の凸射影によって引き起こされる重複評価を低減すること。
• より大きな埋め込み領域を許容しつつ、次元の低いカーネルの効率を維持すること。
• 単一のランダム埋め込みを用いて、$k_{\mathcal{Y}}$ のアーチファクトと $k_{\mathcal{X}}$ の次元の問題を緩和することで最適化性能を向上させること。
• 低次元埋め込み空間 $\mathcal{Y}$ の領域を安全に大きくできることを可能にし、収束性能を損なわないこと。

提案手法

• 点 $\mathbf{y} \in \mathcal{Y}$ を超立方体 $[-1,1]^D$ に凸射影した後、$\operatorname{Ran}(\mathbf{A})$ に写像する変換関数 $\Psi(\mathbf{y})$ を提案する。
• 点が $\mathcal{X}$ の外側にある場合、$\Psi$ は凸射影を $\operatorname{Ran}(\mathbf{A})$ にバックプロジェクションし、原点から境界交点への方向に沿って引き伸ばす。
• 歪みを加えた点上で動作する新しいカーネル $k_{\Psi}(\mathbf{y}, \mathbf{y}') = \exp\left( -\| \Psi(\mathbf{y}) - \Psi(\mathbf{y}') \|_D^2 / (2l^2) \right)$ を定義する。
• 実験では、最尤推定によりハイパーパrameterを推定する等方的Matérn 5/2カーネルを用いる。
• 初期設計に $\Psi$ を適用して、$\mathcal{X}$ 内で重複する点が生じないよう保証し、$k_{\Psi}$ の多様性を確保する。
• 公平な比較のため、$k_{\mathcal{Y}}$、$k_{\mathcal{X}}$、$k_{\Psi}$ のすべてに同一の評価予算と期待改善最大化法を適用する。

実験結果

リサーチクエスチョン

• RQ1 埋め込み点の幾何学的歪みは、高次元で内在次元が小さい問題におけるREMBOの頑健性を向上させ得るか？
• RQ2 提案された $k_{\Psi}$ カーネルは、$\mathcal{X}$ における非一対一の射影によって生じる重複評価を低減するか？
• RQ3 $k_{\Psi}$ を用いる場合、性能の劣化を伴わずに $\mathcal{Y}$ の埋め込み領域を安全に拡大できるか？
• RQ4 $k_{\mathcal{Y}}$ や $k_{\mathcal{X}}$ と比較して、$k_{\Psi}$ の収束速度と最適性ギャップはどの程度か？
• RQ5 歪み機構は、高次元のアーチファクトを回避しつつ、次元の低いカーネルの効率を保持できるか？

主な発見

• 25次元、内在次元6、250回の評価というハートマン6テスト関数において、提案された $k_{\Psi}$ カーネルは $k_{\mathcal{Y}}$ や $k_{\mathcal{X}}$ を上回る性能を発揮した。
• $k_{\mathcal{Y}}$ カーネルは、非一対一の射影により $\mathcal{Y}$ の側面で重複評価を生じさせ、最適化予算を無駄にした。
• $k_{\mathcal{X}}$ カーネルは、$\mathcal{X}$ の面や辺上で重複する点を探索する傾向があり、最適性ギャップを拡大した。
• $k_{\Psi}$ カーネルは、埋め込み部分空間における次元の低い一対一の表現を維持することで、両者の欠陥を回避した。
• $\mathcal{Y} = [-\sqrt{d}, \sqrt{d}]^d$ の場合、$k_{\Psi}$ は両ベースラインと比較して顕著に低い中央最適性ギャップを達成した。
• 歪み機構により、性能劣化を伴わずより大きな $\mathcal{Y}$ 領域が可能となり、埋め込み領域選択に対する頑健性が向上した。