[論文レビュー] Learning search spaces for Bayesian optimization: Another view of hyperparameter transfer learning

Valerio Perrone, Huibin Shen+3 more|arXiv (Cornell University)|Sep 27, 2019

Advanced Multi-Objective Optimization Algorithms被引用数 36

ひとこと要約

本論文は、歴史的に関連する問題からベイズ最適化の探索空間を自動的に設計し、移転学習を可能にする。検索領域を狭めるためにボックスや楕円体の幾何形状を用い、探索を速める。

ABSTRACT

Bayesian optimization (BO) is a successful methodology to optimize black-box functions that are expensive to evaluate. While traditional methods optimize each black-box function in isolation, there has been recent interest in speeding up BO by transferring knowledge across multiple related black-box functions. In this work, we introduce a method to automatically design the BO search space by relying on evaluations of previous black-box functions. We depart from the common practice of defining a set of arbitrary search ranges a priori by considering search space geometries that are learned from historical data. This simple, yet effective strategy can be used to endow many existing BO methods with transfer learning properties. Despite its simplicity, we show that our approach considerably boosts BO by reducing the size of the search space, thus accelerating the optimization of a variety of black-box optimization problems. In particular, the proposed approach combined with random search results in a parameter-free, easy-to-implement, robust hyperparameter optimization strategy. We hope it will constitute a natural baseline for further research attempting to warm-start BO.

研究の動機と目的

• ベイズ最適化（BO）における関連するハイパーパラメータ最適化（HPO）タスク間で知識移転の課題に動機を与え、対処する。
• 過去の評価からコンパクトな探索空間を学習するデータ駆動型手法を提案し、BOの効率を向上させる。
• 探索空間を学習することが、さまざまなBOアルゴリズムと表現に対する転移学習を可能にすることを示す。
• 従来の長方形の探索空間を超えた幾何表現（ボックスと楕円体）を探究する。

提案手法

• 関連タスクの過去の最良構成を関数として、縮小された探索空間を定義する。
• 過去の最小値を含めつつ体積を最小化するように、制約付き最適化を用いて空間の学習を定式化する（ボックス：lとu；楕円体：Aとb）。
• ボックスの場合、すべての t について l ≤ x_t^* ≤ u を満たす条件の下で min over l,u of 1/2 ||u-l||^2 を解く；閉形式解は l*=min_t x_t^*, u*=max_t x_t^*。
• 楕円体の場合、 Löwner–John 問題 min log det(A^{-1}) s.t. ||A x_t^* + b||_2 ≤ 1 for all t を解く；解は一意で、内部点法（CVXPY）で見つかる。
• 楕円体のサンプリングを rejection sampling で適応させ、X ∩ ĤX(θ_e^*) から一様に drawing されるようにする。
• （4）および（6）でスラック変数を用いて外れ値を取り込み、体積の増大をペナルティ化し、制御可能な割合のインライアを維持することでよりタイトな空間を自動選択する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動のオフラインなBO探索空間設計は、関連タスク間のハイパーパラメータ最適化を加速できるか。
• RQ2 ボックスと楕円体の幾何形状は、従来のメタ学習法と比較して、頑健でスケーラブル、パラメータ不要なBOへの転移学習ベースラインを提供するか。
• RQ3 探索空間を絞ることは、異なるBOバックエンド（Random、Hyperband、GPベースのBO、SMAC、ABLR）での性能にどう影響するか。
• RQ4 スラック変数による定式化は、外れ値を効果的に排除して、よりタイトで効果的な探索空間を生み出せるか。
• RQ5 提案手法は、さまざまな機械学習設定でBOをウォームスタートさせる普遍的なベースラインとして実用的か。

主な発見

• 学習済みの探索空間（ボックスまたは楕円体）は、複数のHPOベンチマークでBOを大幅に高速化する。
• ボックスと楕円体の手法は、ランダム探索、SMAC、GPベースBOなど、さまざまなBO手法と組み合わせたときの収束を改善する。
• スラック変数の拡張は外れ値を排除し、タスクが多様な状況でのロバスト性を向上させ、よりタイトな空間を生み出す。
• Box RandomとBox Ellipsoid with transfer は、特にデータが少ない状況で、GPの warm-start や他の転移ベースラインと競合・上回ることがある。
• 本手法は、単純でパラメータ不要、モデル不要の転移学習ベースラインを提供し、BOのウォームスタートの堅牢なデフォルトとなり得る。