[論文レビュー] BOSH: Bayesian Optimization by Sampling Hierarchically

Henry B. Moss, David S. Leslie+1 more|arXiv (Cornell University)|Jul 2, 2020

Gaussian Processes and Bayesian Inference参考文献 32被引用数 4

ひとこと要約

BOSHは、階層的ガウス過程と情報理論的採択戦略を用いて、動的に確率的実現のプールを拡大する画期的なベイズ最適化フレームワークを導入しており、合成的・シミュレーション的・強化学習的・ハイパーパramータチューニングのタスクにおいて、標準的なBOに比べてより効率的かつ正確な最適化を実現しています。これは、既存の実現の評価と新しいもののサンプリングのバランスを適応的に行うことで達成されています。

ABSTRACT

Deployments of Bayesian Optimization (BO) for functions with stochastic evaluations, such as parameter tuning via cross validation and simulation optimization, typically optimize an average of a fixed set of noisy realizations of the objective function. However, disregarding the true objective function in this manner finds a high-precision optimum of the wrong function. To solve this problem, we propose Bayesian Optimization by Sampling Hierarchically (BOSH), a novel BO routine pairing a hierarchical Gaussian process with an information-theoretic framework to generate a growing pool of realizations as the optimization progresses. We demonstrate that BOSH provides more efficient and higher-precision optimization than standard BO across synthetic benchmarks, simulation optimization, reinforcement learning and hyper-parameter tuning tasks.

研究の動機と目的

• 標準的なベイズ最適化が確率的設定で直面する限界に対処する。具体的には、固定された評価戦略（例：K-fold CV）がノイズのある実現の平均を最適化するが、真の目的関数を最適化しないこと。
• 不適切または固定された実現セットによる、誤った関数の高精度な最適解への収束リスクを低減する。
• 最適化の過程で実現プールを適応的に拡大する手法を開発し、事前に実現数を定義せずに、効率性と精度の両方を向上させること。
• 既存のマルチファイデリティおよびマルチタスクBOフレームワークの制限を克服し、確率的最適化においてバッチ評価とスケーラブルな計算を可能にすること。
• いつ既存の実現を評価するか、新しい実現をサンプリングするかを決定する、原理的で情報理論的な枠組みを提供すること。

提案手法

• BOSHは、真の目的関数を潜在関数としてモデル化し、個々の実現をこの潜在関数の摂動として扱う階層的ガウス過程（HGP）を採用する。
• HGPは、カーネル間で共有された長さスケールを用いることで、モデルの安定性を向上させ、わずかd+5回の評価で信頼性のある初期化を可能にする。
• 情報理論的採択関数は、新しい実現を評価するか、既存のものを評価するかの利得を定量化し、新しい実現の探索と既存実現の活用のバランスを取る。
• フレームワークは、複数の点を実現全体にわたって推薦するように採択関数を拡張することで、バッチ採択をサポートし、並列評価を可能にする。
• 最適化の進行に応じて実現プールを動的に拡大することで、固定された評価戦略を必要としない。
• HGPは、複数の実現からの評価の増加する集合で訓練され、階層全体にわたって不確実性が伝搬され、意思決定を導く。

実験結果

リサーチクエスチョン

• RQ1 ベイズ最適化フレームワークが最適化の過程で実現プールを動的に拡大することで、固定評価戦略に比べて精度が向上するか？
• RQ2 新しい実現のサンプリングと既存実現の評価のバランスを取る情報理論的採択関数が、より効率的な最適化を実現するか？
• RQ3 BOSHは、シミュレーション、強化学習、ハイパーパramータチューニングにおいて、標準BOおよび既存のマルチファイデリティ・マルチタスクBO手法に比べ、より高い精度の最適化を達成できるか？
• RQ4 並列リソースが利用可能な状況において、BOSHの適応的戦略は固定Kアプローチに比べ、初期化コストと収束速度の点で優れているか？
• RQ5 BOSHは、高精度な最適化を維持しながら、効果的な評価バッチをどれほど効果的に推薦できるか？

主な発見

• BOSHは、合成的・シミュレーション的・強化学習的・ハイパーパramータチューニングのすべてのベンチマークタスクにおいて、標準BOに比べてより高い精度の最適化を達成した。
• Lunar Landerタスクでは、BOSHはたった10回の並列評価で、ハードコードされたPIDコントローラーの性能に匹敵した。標準BOおよびバッチBOを上回った。
• IMDB映画レビュー分類タスクでは、BOSHは最大4つのトレイン・テスト分割を用いて、K-fold CVを用いた標準BOよりも精度の高いSVMハイパーパramータチューニングを実現した。
• ウェアハウス割り当てシミュレーションでは、標準BOが並列評価を伴っても粗い最適化しか提供しなかったのに対し、BOSHは高精度な最適化を達成した。
• FASTCVは1実現あたりd+3回の評価が必要だったが、BOSHは2つの実現を対象にd+5回の総評価で信頼性のある初期化が可能だったため、初期化コストが著しく低かった。
• バッチBOと同様の固定評価戦略下でも、並列リソースが利用可能な状況において、BOSHの適応的戦略は、より高速かつ高精度なチューニングを実現した。