[論文レビュー] Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization

Jingfan Chen, Guanghui Zhu+2 more|arXiv (Cornell University)|May 29, 2020

Machine Learning and Data Classification参考文献 36被引用数 6

ひとこと要約

本稿では、高次元ベイズ最適化のための、反復的で半教師付きの埋め込み学習フレームワークであるSILBOを提案する。SILBOは、ラベル付き（獲得関数評価）およびラベルなし（ランダムまたは候補）の両方の点を用いて、動的に低次元射影行列を更新する。半教師付き次元削減とランダム化された一般化固有値計算を活用することで、SOTA手法と比較して合成関数およびニューラルネットワークのハイパーパrameterチューニングタスクにおいて優れた最適化性能を達成する。

ABSTRACT

Bayesian optimization is a broadly applied methodology to optimize the expensive black-box function. Despite its success, it still faces the challenge from the high-dimensional search space. To alleviate this problem, we propose a novel Bayesian optimization framework (termed SILBO), which finds a low-dimensional space to perform Bayesian optimization iteratively through semi-supervised dimension reduction. SILBO incorporates both labeled points and unlabeled points acquired from the acquisition function to guide the embedding space learning. To accelerate the learning procedure, we present a randomized method for generating the projection matrix. Furthermore, to map from the low-dimensional space to the high-dimensional original space, we propose two mapping strategies: $ ext{SILBO}_{FZ}$ and $ ext{SILBO}_{FX}$ according to the evaluation overhead of the objective function. Experimental results on both synthetic function and hyperparameter optimization tasks demonstrate that SILBO outperforms the existing state-of-the-art high-dimensional Bayesian optimization methods.

研究の動機と目的

• 高次元ベイズ最適化における次元の呪いを軽減するため、効果的な低次元埋め込み空間を学習すること。
• 従来の手法における静的射影行列や、教師付きのみの次元削減の限界を克服すること。
• 埋め込み学習にラベル付きおよびラベルなしの両方の点を活用することで、計算コストを低減すること。
• 高次元一般化固有値問題を解くためのランダム化手法を用いることで、学習プロセスを高速化すること。
• 目的関数評価コストに応じた2つの効率的なマッピング戦略—SILBO-BUおよびSILBO-TD—を提供すること。

提案手法

• SILBOは、各ベイズ最適化反復において、ラベル付き（獲得関数で選択された）およびラベルなし（ランダムに抽出された）の両方の点を用いて、射影行列を更新する反復的フレームワークを採用する。
• 高次元目的関数の内在的構造を保ちながら、低次元埋め込みを学習するため、半教師付き次元削減を適用する。
• 埋め込み学習段階で、一般化固有値問題を効率的に解くためのランダム化アルゴリズムを導入し、時間計算量を削減する。
• 2つのマッピング戦略を提案する：低コストな目的関数向けのSILBO-BU（ボトムアップ）と、高コストな目的関数向けのSILBO-TD（トップダウン）であり、再評価オーバーヘッドを最小限に抑える。
• 学習された埋め込みをガウス過程サーヴィレートモデルに統合し、サンプル効率の高いグローバル最適化を実現する。
• 獲得関数からの新しいデータを用いて、射影行列を定期的に再訓練することで、適応的かつ動的な部分空間学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きおよびラベルなしの両方の点を用いた半教師付き学習は、高次元ベイズ最適化における低次元埋め込みの質を向上させることができるか？
• RQ2 反復的かつ動的な射影行列の更新は、静的または一回きりの射影学習よりも優れた最適化性能をもたらすか？
• RQ3 一般化固有値問題を解くためのランダム化アルゴリズムは、正確性を損なわずに埋め込み学習プロセスを顕著に高速化できるか？
• RQ4 異なるマッピング戦略（SILBO-BU 対 SILBO-TD）は、目的関数評価コストの違いに応じて最適化効率にどのように影響を与えるか？
• RQ5 SILBOは、合成関数および実世界のハイパーパrameterチューニングタスクにおいて、既存のSOTA高次元ベイズ最適化手法をどの程度上回るか？

主な発見

• SILBOは、合成関数（例：1000次元Branin、Hartmann6、Colville）およびニューラルネットワークハイパーパrameterチューニングタスクにおいて、SOTAの高次元ベイズ最適化手法を上回る。
• 半教師付き次元削減（SILBO-semi）は、教師付きのみの手法（SILBO-only-labeled）よりも顕著に最適化性能を向上させ、ラベルなしデータの価値を示している。
• 獲得関数からの点を用いた反復的学習（SILBO-random+acquisition）は、初期にランダム点のみを用いた場合（SILBO-only-random）よりも一貫してより良い解を発見しており、動的埋め込み更新の有効性を確認している。
• 射影行列の更新頻度が低くなるほど最適化性能が向上しており、頻繁なが、情報量の少ない更新よりも、稀だが情報の多い更新がより効果的であることを示している。
• SILBO-BUは低コスト関数に対して効率的であり、SILBO-TDは高コストな目的関数においても競争力ある実行時間を維持しており、二重マッピング戦略の設計の妥当性が裏付けられている。
• 一般化固有値問題を解くためのランダム化アルゴリズムは計算コストを低減し、高次元設定におけるスケーラブルな埋め込み学習を可能にしている。