[論文レビュー] Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly

Kirthevasan Kandasamy, Karun Raju Vysyaraju+6 more|arXiv (Cornell University)|Mar 15, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 82被引用数 45

ひとこと要約

Dragonfly は、スケーラブルで堅牢なハイパーパラメータチューニング、多階層最適化、ニューラルアーキテクチャ検索、並行評価のために設計されたオープンソースのベイズ最適化ライブラリです。複数の取得戦略と堅牢なモデリングを組み合わせることで、多様な問題に対して高い性能を発揮します。

ABSTRACT

Bayesian Optimisation (BO) refers to a suite of techniques for global optimisation of expensive black box functions, which use introspective Bayesian models of the function to efficiently search for the optimum. While BO has been applied successfully in many applications, modern optimisation tasks usher in new challenges where conventional methods fail spectacularly. In this work, we present Dragonfly, an open source Python library for scalable and robust BO. Dragonfly incorporates multiple recently developed methods that allow BO to be applied in challenging real world settings; these include better methods for handling higher dimensional domains, methods for handling multi-fidelity evaluations when cheap approximations of an expensive function are available, methods for optimising over structured combinatorial spaces, such as the space of neural network architectures, and methods for handling parallel evaluations. Additionally, we develop new methodological improvements in BO for selecting the Bayesian model, selecting the acquisition function, and optimising over complex domains with different variable types and additional constraints. We compare Dragonfly to a suite of other packages and algorithms for global optimisation and demonstrate that when the above methods are integrated, they enable significant improvements in the performance of BO. The Dragonfly library is available at dragonfly.github.io.

研究の動機と目的

• 高価なブラックボックス設定における効率的なハイパーパラメータチューニングの必要性を動機づける。
• 高次元・マルチフィデリティ・構造化探索空間に適用可能な、スケーラブルなBOフレームワークを開発する。
• 確率的な取得戦略とモデル選択を通じてBOの堅牢性を向上させる。
• 単一のライブラリ内で NAS や並行評価を含む実用的な応用を可能にする。

提案手法

• Dragonfly を、スケーラブルで堅牢な BO ライブラリとして紹介する。
• Add-GP-UCB を用いて高次元ドメインに対処する加法GPモデルを実装する。
• 積カーネルを用いたマルチフィデリティBOを形式化し、忠実度と入力の両方を選択する二段階の取得戦略を導入する。
• ニューラルアーキテクチャのための Optimal Transport に基づく距離 (OTMANN) を用いた NASBOT を開発し、取得の探索には進化的探索を用いる。
• Thompson sampling を除くハルシネーションを介した並行評価を取り入れる。
• 問題を跨ぐ堅牢性を向上させるために、ランダム化された取得戦略を採用する。

Figure 1: An illustration of GPs and BO. The first figure shows the function of interest $f$ (black line) before any observations and illustrates a GP that represents the prior uncertainty. The shaded region represents a $99\%$ confidence region for $f$ and the coloured lines are samples from the GP

実験結果

リサーチクエスチョン

• RQ1 Dragonfly は高次元およびマルチフィデリティ設定でスケーラブルなベイズ最適化を達成できるか？
• RQ2 単一の固定設定ではなく、ランダム化された取得とモデル選択を用いると堅牢性は向上するか？
• RQ3 加法GPモデル、NASBOT、並行評価戦略は、合成ベンチマークと実世界のタスクでどの程度効果的に機能するか？
• RQ4 マルチフィデリティと NAS の適用を、単一のBOフレームワーク内で効果的に統合できるか？

主な発見

• Dragonfly は、加法GP構造を活用して次元を削減し取得最適化コストを抑えることで、スケーラブルなBOを実現する。
• あなたが説明したマルチフィデリティBOBO（BOCA）は、忠実度間でコストと情報を体系的に取引する方法を提供する。
• NASBOT は OTMANN ベースのニューラルアーキテクチャ距離を用いてカーネルを定義し、NAS空間を探索するために進化的探索を用いる。
• ランダム化された取得は、単一の固定取得を選択する場合と比較して、さまざまな問題に対する堅牢性と性能を向上させる。
• Dragonfly は、計算天体物理学の合成ベンチマークおよび実世界のタスクにおいて、モデル選択の分野で競争力があるか、またはそれを上回る性能を示している。

Figure 3: Comparison of using individual acquisitions such as GP-UCB, GP-EI, TTEI, TS, PI, and Add-GP-UCB versus the combined sampling method as described in Section 4.1 . We have also shown random sampling (RAND) for comparison. We plot the simple regret ( 2 ), so lower is better. Error bars indica