[論文レビュー] Bayesian Optimization with Binary Auxiliary Information

Yehong Zhang, Zhongxiang Dai+1 more|arXiv (Cornell University)|Jun 17, 2019

Gaussian Processes and Bayesian Inference参考文献 28被引用数 8

ひとこと要約

本稿では、ハイパーパramータチューニングにおける早期停止意思決定や強化学習における成功/失敗結果など、相関のある低コストのバイナリ補助情報を利用することで、連続的⽬的関数最適化を加速する混合型ベイジアン最適化アルゴリズムMT-ESおよびMT-PESを提案する。新しいランダム特徴量近似を用いた混合型マルチアウトプットガウス過程を導入することで、連続的ターゲットとバイナリ補助情報の間のクロス相関を効率的にモデル化し、最先端の手法よりも高速な収束を実現する。

ABSTRACT

This paper presents novel mixed-type Bayesian optimization (BO) algorithms to accelerate the optimization of a target objective function by exploiting correlated auxiliary information of binary type that can be more cheaply obtained, such as in policy search for reinforcement learning and hyperparameter tuning of machine learning models with early stopping. To achieve this, we first propose a mixed-type multi-output Gaussian process (MOGP) to jointly model the continuous target function and binary auxiliary functions. Then, we propose information-based acquisition functions such as mixed-type entropy search (MT-ES) and mixed-type predictive ES (MT-PES) for mixed-type BO based on the MOGP predictive belief of the target and auxiliary functions. The exact acquisition functions of MT-ES and MT-PES cannot be computed in closed form and need to be approximated. We derive an efficient approximation of MT-PES via a novel mixed-type random features approximation of the MOGP model whose cross-correlation structure between the target and auxiliary functions can be exploited for improving the belief of the global target maximizer using observations from evaluating these functions. We propose new practical constraints to relate the global target maximizer to the binary auxiliary functions. We empirically evaluate the performance of MT-ES and MT-PES with synthetic and real-world experiments.

研究の動機と目的

• 高価な連続的⽬的関数の最適化を、より安価で相関のあるバイナリ補助情報を取り入れることで加速すること。
• 従来のマルチファイデリティBO手法が連続的補助関数に依存しており、バイナリ出力を扱えないという制限を解消すること。
• 連続的およびバイナリ補助信号の両方を効果的に活用する情報に基づく獲得関数であるMT-ESおよびMT-PESを開発すること。
• 共通の潜在構造を共有する連続的ターゲット関数とバイナリ補助関数を統合的にモデル化する混合型マルチアウトプットガウス過程モデルを設計すること。
• MT-PESの獲得関数を効率的に近似するための、新しい混合型ランダム特徴量アプローチを導出すること。このアプローチは、ターゲット関数と補助関数間のクロス相関情報を保持する。

提案手法

• 共通の潜在プロセスを用いて、連続的ターゲット関数と1つ以上のバイナリ補助関数を統合的にモデル化する混合型マルチアウトプットガウス過程（MOGP）を提案する。
• グローバル最大値の探索を導くために、情報に基づく獲得関数である混合型エントロピー探索（MT-ES）および混合型予測エントロピー探索（MT-PES）を導入する。
• ターゲット関数と補助関数間のクロス相関を活用するために、MOGPモデルの新しい混合型ランダム特徴量近似を提案し、MT-PES獲得関数の効率的計算を可能にする。
• グローバルターゲット最大値とバイナリ補助関数との間の実用的制約を課し、効果的な信念更新と効率的な最適化を可能にする。
• ターゲット関数と補助関数の両方の不確実性を確率的フレームワークでモデル化することで、有望な領域の能動的探索を可能にする。
• バイナリ出力の非ガウス型尤度に対処するため、変分近似を用いて推論を実施するターゲット関数とバイナリ結果のためのGP信念を採用する。

実験結果

リサーチクエスチョン

• RQ1 バイナリ補助情報は、高価な連続的⽬的関数のベイジアン最適化を顕著に加速できるか？
• RQ2 連続的ターゲットとバイナリ補助情報の間のクロス相関を、統合確率的フレームワーク内で効果的にモデル化・活用できるか？
• RQ3 混合型出力が存在する状況下でも、MT-ESやMT-PESのような情報に基づく獲得関数を効率的に近似できるか？
• RQ4 本手法は、連続的補助関数に依存する従来のマルチファイデリティBOアルゴリズムと比較してどのように性能を癹揮するか？
• RQ5 提案された混合型ランダム特徴量近似は、MT-PESのスケーラビリティとパフォーマンスにどのような影響を及ぼすか？

主な発見

• MT-PESは、ハイパーパramータチューニングおよび強化学習ポリシー探索の両タスクにおいて、MF-GP-UCBを含む最先端のBOアルゴリズムを上回る性能を発揮した。
• 1時間のウォールクロックタイムでさえも、MT-PESはデフォルトのハイパーパramータで達成されるベースラインを上回る検証精度を実現した。
• MT-ESおよびMT-PESは、他のテストされたアルゴリズムと比較してより速く収束し、合成的および実世界の両実験でMT-PESが優れた収束速度を示した。
• 早期停止に基づくバイナリ補助関数の使用により、連続的補助関数と比較して評価コストを顕著に削減でき、最適化がより高速に進行した。
• 提案された混合型ランダム特徴量近似により、効率的かつ正確な信念更新が可能となり、MT-PESの計算実行可能性が確保された。
• 実験的結果から、提案手法は関数評価回数を減らしながらも、改善比（IR）および成功確率の両面で優れたパフォーマンスを達成した。