[論文レビュー] Few-Shot Bayesian Optimization with Deep Kernel Surrogates

Martin Wistuba, Josif Grabocka|arXiv (Cornell University)|Jan 19, 2021

Machine Learning and Data Classification参考文献 25被引用数 6

ひとこと要約

本稿では、深層カーネル代理モデルを用いた少数ショットベイジアン最適化（FSBO）を提案する。メタ学習された深層カーネルガウス過程を共有初期化から微調整することで、少数の評価で新しいハイパーパramータ最適化タスクに迅速に適応する。この手法は、カーネルパラメータのエンドツーエンドメタラーニングと、データ駆動型のウォームスタートを組み合わせることで、多様なHPOベンチマークで最先端の性能を達成する。

ABSTRACT

Hyperparameter optimization (HPO) is a central pillar in the automation of machine learning solutions and is mainly performed via Bayesian optimization, where a parametric surrogate is learned to approximate the black box response function (e.g. validation error). Unfortunately, evaluating the response function is computationally intensive. As a remedy, earlier work emphasizes the need for transfer learning surrogates which learn to optimize hyperparameters for an algorithm from other tasks. In contrast to previous work, we propose to rethink HPO as a few-shot learning problem in which we train a shared deep surrogate model to quickly adapt (with few response evaluations) to the response function of a new task. We propose the use of a deep kernel network for a Gaussian process surrogate that is meta-learned in an end-to-end fashion in order to jointly approximate the response functions of a collection of training data sets. As a result, the novel few-shot optimization of our deep kernel surrogate leads to new state-of-the-art results at HPO compared to several recent methods on diverse metadata sets.

研究の動機と目的

• ハイパーパramータ最適化を少数ショット学習問題として再定式化し、最小限の評価で迅速な適応を可能にする。
• メタラーニングを用いて複数のタスクに一般化可能なスケーラブルな共有深層カーネル代理モデルを開発する。
• カーネルパラメータのエンドツーエンドメタ最適化によるトランスファーラーニングを活用し、ベイジアン最適化の収束を向上させる。
• メタ学習された代理モデルを用いてデータ駆動型のウォームスタート初期化を提供する。
• 統計的に有意な向上を達成する既存のトランスファーラーニングベースラインを上回る。

提案手法

• ガウス過程代理モデルとして深層カーネルネットワークを用い、ニューラルネットワーク部はすべてのタスクで共有される。
• カーネルパラメータの迅速な適応を可能にするために、メタタスクの集合上でエンドツーエンドにメタラーニングされる。
• 新しいターゲットタスクに少数の評価で適応するため、推論時に深層カーネルの微調整が適用される。
• ウォームスタート初期化は、メタ学習された代理モデルが初期ベイジアン最適化の点をガイドすることで生成される。
• 少数ショット学習の枠組みを用いて、タスク間で代理モデルのカーネルハイパーパラメータを同時に最適化する。
• メタラーニング中にタスク固有のパラメータを統合することで、タスクごとのモデル成長を回避する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパラメータ最適化は、少数ショット学習問題として効果的に再概念化可能か？
• RQ2 共有された深層カーネル代理モデルは、少数の評価で新しいタスクに迅速に適応できるようにメタラーニング可能か？
• RQ3 固定またはランダムに初期化された代理モデルと比較して、カーネルパラメータのエンドツーエンドメタラーニングはベイジアン最適化の収束を改善するか？
• RQ4 提案されたウォームスタート初期化は、ランダムまたはラテンハイパーレクトンサンプリングと比較してどのように異なるか？
• RQ5 少数ショット適応プロセスにおいて、深層カーネルの微調整と初期化のみの違いは、それぞれどのように寄与するか？

主な発見

• FSBOは、複数のハイパーパラメータ最適化ベンチマークで最先端の性能を達成し、最近のICLRおよびNeurIPSベースラインを統計的に有意に上回る。
• 深層カーネルパラメータの微調整は適応性を著しく向上させ、メタ学習ネットワークからの強い事前分布による早期の利用を防ぐ。
• 代理モデルから導出されたウォームスタート初期化は、GLMNetおよびSVMタスクにおいて特に顕著に、ランダムおよびラテンハイパーレクトンサンプリングを常に上回る。
• 固定されたニューラルネットワーク重みを用いたマルチヘッドGPベースラインは性能が低く、パラメータの適応が効果的なトランスファーに不可欠であることを示している。
• メタラーニングによるパラメータ共有のおかげで、タスク数の増加に伴い複雑性が増大しないため、本手法はタスク数に応じて良好にスケーリングする。
• アブレーションスタディにより、各コンポONENT（メタラーニング、微調整、ウォームスタート）が直交的かつ顕著に最終性能に寄与していることが確認された。