[論文レビュー] Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly

Kirthevasan Kandasamy, Karun Raju Vysyaraju+6 more|arXiv (Cornell University)|Mar 15, 2019

Advanced Multi-Objective Optimization Algorithms被引用数 79

ひとこと要約

Dragonflyは、高次元スケーリング、マルチフィデリティ、ニューラルアーキテクチャ探索、並列評価、堅牢な獲得戦略を統合することで、スケーラブルで堅牢なベイズ最適化を推進するオープンソースライブラリです。

ABSTRACT

Bayesian Optimisation (BO) refers to a suite of techniques for global optimisation of expensive black box functions, which use introspective Bayesian models of the function to efficiently search for the optimum. While BO has been applied successfully in many applications, modern optimisation tasks usher in new challenges where conventional methods fail spectacularly. In this work, we present Dragonfly, an open source Python library for scalable and robust BO. Dragonfly incorporates multiple recently developed methods that allow BO to be applied in challenging real world settings; these include better methods for handling higher dimensional domains, methods for handling multi-fidelity evaluations when cheap approximations of an expensive function are available, methods for optimising over structured combinatorial spaces, such as the space of neural network architectures, and methods for handling parallel evaluations. Additionally, we develop new methodological improvements in BO for selecting the Bayesian model, selecting the acquisition function, and optimising over complex domains with different variable types and additional constraints. We compare Dragonfly to a suite of other packages and algorithms for global optimisation and demonstrate that when the above methods are integrated, they enable significant improvements in the performance of BO. The Dragonfly library is available at dragonfly.github.io.

研究の動機と目的

• ハイパーパラメータチューニングとモデル選択のための高価なブラックボックス関数の効率的なグローバル最適化という課題に対処する。
• 高次元で動作し、マルチフィデリティ評価と構造化/組合せ的領域をまたぐ、スケーラブルなBO手法を開発する。
• ハイパーパラメータや獲得戦略の選択に対する感度を低減するため、ランダム化された獲得とモデルパラメータの選択を導入して、BOの堅牢性を向上させる。

提案手法

• スケーラビリティと堅牢性に焦点を当てたオープンソースBOライブラリとしてDragonflyを導入する。
• Add-GP-UCBを用いて加法モデルでBOを高次元に拡張し、巨大な特徴空間での扱いやすい最適化を可能にする。
• 忠実度と入力領域上の積カーネルを用いたマルチフィデリティBO（BOCA）を形式化・活用し、忠実度を考慮した探索を組み合わせた獲得関数を最適化して次点を選択する。
• NASBOTを用いてBOをニューラルアーキテクチャ探索へ拡張し、OTMANN距離を用いてアーキテクチャ上のカーネルを定義し、獲得とアーキテクチャを最適化する進化的アルゴリズムを適用する。
• 獲得関数のハルシネーション手法を用いて並列評価を扱う（Thompson samplingを除き、これは依然として確率的）。
• 複数の獲得関数とGPハイパーパラメータの中からランダムに選択する堅牢なBOフレームワークを提案し、問題間での堅牢性を高める。

実験結果

リサーチクエスチョン

• RQ1 どのようにベイズ最適化を高次元ドメインへ拡張し、過度な計算コストを避けることができるか？
• RQ2 マルチフィデリティ評価をBOへ理論的保証とともに正式に組み込み、高価な評価を削減できるか？
• RQ3 意味のあるアーキテクチャ表現と効率的な最適化を備えたニューラルアーキテクチャ探索へBOを適用するには？
• RQ4 獲得戦略の選択とハイパーパラメータ設定に対するBOの堅牢性を向上させる戦略は何か、特に並行/非同期設定で？

主な発見

• Dragonflyは合成ベンチマークと天体物理学やモデル選択といった実世界タスクの両方で競争力のある、または優れた性能を示す。
• 加法GPモデル（Add-GP-UCB）は、関数fを加法成分に分解することで次元の呪いを大幅に軽減する。
• マルチフィデリティBO（BOCA）は積カーネルと2段階の忠実度選択を用いて情報利得とコストのバランスを取る。
• NASBOTはOTMANNベースのカーネルとマルチフィデリティトレーニングを用いた進化的探索戦略でニューラルアーキテクチャ探索を可能にする。
• 獲得関数のハルシネーションを用いた並列評価の処理は効果的で（TSを除く）、非同期またはバッチBOを可能にする。
• ランダム化・適応的な獲得戦略は、単一の固定獲得戦略に依存するよりも堅牢性を向上させる。