[論文レビュー] Pre-trained Gaussian Processes for Bayesian Optimization

Zi Wang, George E. Dahl+6 more|arXiv (Cornell University)|Sep 16, 2021

Gaussian Processes and Bayesian Inference被引用数 15

ひとこと要約

この論文では、関連するタスクからのデータを用いてKLダイバージェンスに基づく損失を用いてガウス過程事前分布を事前学習するベイジアン最適化フレームワーク、HyperBOを紹介する。これにより、より効率的なハイパーパramータチューニングが可能となる。本手法は、複雑なディープラーニングおよびマルチタスクベンチマークにおいて、最先端のベースラインと比較して、著しく低いレグレットを達成し、最大3倍速い収束を実現する。

ABSTRACT

Bayesian optimization (BO) has become a popular strategy for global optimization of expensive real-world functions. Contrary to a common expectation that BO is suited to optimizing black-box functions, it actually requires domain knowledge about those functions to deploy BO successfully. Such domain knowledge often manifests in Gaussian process (GP) priors that specify initial beliefs on functions. However, even with expert knowledge, it is non-trivial to quantitatively define a prior. This is especially true for hyperparameter tuning problems on complex machine learning models, where landscapes of tuning objectives are often difficult to comprehend. We seek an alternative practice for setting these functional priors. In particular, we consider the scenario where we have data from similar functions that allow us to pre-train a tighter distribution a priori. We detail what pre-training entails for GPs using a KL divergence based loss function, and propose a new pre-training based BO framework named HyperBO. Theoretically, we show bounded posterior predictions and near-zero regrets for HyperBO without assuming the "ground truth" GP prior is known. To verify our approach in realistic setups, we collect a large multi-task hyperparameter tuning dataset by training tens of thousands of configurations of near-state-of-the-art deep learning models on popular image and text datasets, as well as a protein sequence dataset. Our results show that on average, HyperBO is able to locate good hyperparameters at least 3 times more efficiently than the best competing methods on both our new tuning dataset and existing multi-task BO benchmarks.

研究の動機と目的

• ドメインの専門知識が限られている、あるいは利用できない状況において、情報豊富な事前分布を指定する課題に対処すること。
• 関連タスクのデータから機能的事前分布を学習することで、専門家の直感に依存する事前分布の指定を自動化すること。
• ガウス過程のためのスケーラブルでデータ駆動型の事前分布学習フレームワークを構築し、ベイジアン最適化における事後分布の一般化性能を向上させること。
• 事前学習されたGPsが、特に複雑で高次元のハイパーパramータチューニングの状況において、より優れた最適化性能をもたらすことを示すこと。
• 真のGP事前分布の知識を仮定しない条件下でも、レグレットと事後分布の一貫性に関する理論的保証を提供すること。

提案手法

• 関連タスクからの観測関数と一致するように、ガウス過程の関数的分布を調整するためのKLダイバージェンスに基づく損失関数を用いて、ガウス過程事前分布を事前学習する。
• 数十万ものディープラーニングモデル設定を含む大規模なマルチタスクハイパーパラメータチューニングデータセットを用いて、GP事前分布を学習する。
• 手動で指定されたカーネルや事前分布に代えて、事前学習されたGPをベイジアン最適化における事前分布として適用する。
• アクティブラーニングと不確実性を考慮した探索のため、事前学習されたGPをGP-UCBの獲得関数に統合する。
• 理論的分析により、モデルの誤指定が生じても、事後予測が有界であり、近似的にゼロのレグレットが達成されることを示した。
• 情報ゲインと相互情報量の境界を活用して、レグレットを制御し、収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 関連タスク上でガウス過程事前分布を事前学習することで、ハイパーパラメータチューニングにおけるベイジアン最適化の性能が向上するか？
• RQ2 HyperBOの性能は、複雑なディープラーニング環境下における標準的なBO手法やランダムサーチと比較してどうなるか？
• RQ3 事前学習されたGPsを用いる場合、レグレットと事後分布の正確性に対してどのような理論的保証を提供できるか？
• RQ4 事前分布学習は、専門家が指定するカーネルハイパーパラメータの必要性をどの程度低減するか？
• RQ5 事前学習されたGPsは、画像分類、自然言語処理、タンパク質配列モデリングといった多様なタスク間で一般化可能か？

主な発見

• HyperBOは、新規のマルチタスクチューニングデータセットおよび古典的ベンチマークの両方において、最も優れた競合手法と比較して、少なくとも3倍のハイパーパラメータ探索の効率性を達成する。
• 特に最適化の初期段階において、事前学習されたGP事前分布は、非事前学習のGPと比較して、はるかに優れた事後平均と不確実性推定を実現する。
• 理論的分析により、真のGP事前分布が未知であっても、HyperBOは近似的にゼロのレグレットと有界な事後予測を達成することが示された。
• 本手法は、関連タスク間の共有される機能的構造を活用することで、レグレットを低減し、サンプル効率を向上させる。
• 実験結果から、多様なディープラーニング設定での事前学習が、画像、テキスト、生物学的配列タスクのあらゆる分野にわたって一般化可能な事前分布を生成することが示された。
• KLベースの事前学習目的関数は、トレーニングデータから関数的相関と滑らかさのパターンを効果的に捉え、最適化の忠実性を向上させる。