[論文レビュー] Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks

Shibo Li, Robert M. Kirby+1 more|arXiv (Cornell University)|Jun 17, 2021

Machine Learning and Data Classification被引用数 7

ひとこと要約

本稿では、複数の忠実度における複雑で非定常な関係をモデル化するために深層自己回帰的ベイジアンニューラルネットワークを用いる、バッチ・マルチファイデリティベイジアン最適化手法BMBO-DARNを提案する。最大値エントロピー探索にインspiredされた獲得関数により、相関の低い多様なバッチクエリ選択を効率的に行える。4つの実世界のハイパーパramータチューニングタスクにおいて、最先端のベースラインと比較して、より低い総評価コストで優れた最適化性能を達成した。

ABSTRACT

Bayesian optimization (BO) is a powerful approach for optimizing black-box, expensive-to-evaluate functions. To enable a flexible trade-off between the cost and accuracy, many applications allow the function to be evaluated at different fidelities. In order to reduce the optimization cost while maximizing the benefit-cost ratio, in this paper, we propose Batch Multi-fidelity Bayesian Optimization with Deep Auto-Regressive Networks (BMBO-DARN). We use a set of Bayesian neural networks to construct a fully auto-regressive model, which is expressive enough to capture strong yet complex relationships across all the fidelities, so as to improve the surrogate learning and optimization performance. Furthermore, to enhance the quality and diversity of queries, we develop a simple yet efficient batch querying method, without any combinatorial search over the fidelities. We propose a batch acquisition function based on Max-value Entropy Search (MES) principle, which penalizes highly correlated queries and encourages diversity. We use posterior samples and moment matching to fulfill efficient computation of the acquisition function and conduct alternating optimization over every fidelity-input pair, which guarantees an improvement at each step. We demonstrate the advantage of our approach on four real-world hyperparameter optimization applications.

研究の動機と目的

• 既存のマルチファイデリティベイジアン最適化手法が、過度に単純化された補間モデルのため、忠実度間の複雑で非定常な関係を捉えられていないという限界に対処する。
• 逐次的な1件ずつのクエリ取得の非効率性を克服し、複数の忠実度にわたる相関が低く多様なクエリのバッチ取得を可能にする。
• 忠実度の組み合わせに関する組み合わせ的探索を回避しつつ、バッチクエリのための効率的な最適化戦略を開発する。
• ベイジアンニューラルネットワークを用いて忠実度を自己回帰的にモデル化することで、補間学習の精度と最適化性能を向上させる。
• 顕著なコスト削減とパフォーマンス向上を伴う、実世界のハイパーパramータ最適化タスクにおける本手法の有効性を実証する。

提案手法

• 各忠実度の出力が元の入力と、すべての低い忠実度の出力に依存する深層自己回帰的モデルをベイジアンニューラルネットワークを用いて構築し、複雑で非定常な忠実度関係の強力なモデル化を可能にする。
• ベイジアンニューラルネットワークの重みに対する事後分布推論にハミルトニアン・モンテカルロ（HMC）サンプリングを用い、不確実性の定量化を可能にする。
• 最大値エントロピー探索（MES）の原則に基づく獲得関数を設計し、相関の高いクエリを明示的にペナルティ化し、バッチ内の多様性を促進する。
• 事後分布のサンプルとモーメントマッチングを用いて、関数値とグローバル最適値の多変量ガウス事後分布を近似することで、獲得関数の計算を効率化する。
• 各入力-忠実度ペアを交互に更新することで、組み合わせ的探索を回避しつつ、獲得関数を最大化する交替最適化アルゴリズムを実装し、各ステップで単調な改善を保証する。
• モーメントマッチングと事後分布サンプリングを用いて、複数の忠実度と入力にわたる獲得関数のスケーラブルで微分可能な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的なガウス過程ベースのモデルと比較して、深層自己回帰的ベイジアンニューラルネットワークを用いた補間モデルは、マルチファイデリティベイジアン最適化において、複雑で非定常な忠実度関係をよりよく捉えることができるか？
• RQ2 最大値エントロピー探索（MES）に基づく獲得関数に、明示的な多様性および相関ペナルティを組み込んだバッチ獲得関数は、逐次的または標準的なバッチ手法と比較して、より効果的かつ効率的なクエリ選択を可能にするか？
• RQ3 入力-忠実度ペアに対する交替最適化戦略は、組み合わせ的探索を回避しつつ、改善を保証し、スケーラブルなバッチクエリ生成を可能にするか？
• RQ4 実世界のハイパーパramータチューニングタスクにおいて、BMBO-DARNは最先端のマルチファイデリティBOおよびハイパーパラメータチューニングベースラインと比較して、より優れた予測性能と低い総評価コストを達成するか？
• RQ5 特に、既存のバッチBO手法と比較して、クエリ生成時間および補間モデル学習のスケーリング特性はどのようになるか？

主な発見

• BMBO-DARNは、すべての4つの実世界応用（CNN、オンラインLDA、XGBoost、PINN）において、最も低い総評価コストを達成し、コスト効率の面で他の手法を一貫して上回った。
• CNNおよびオンラインLDAタスクにおいて、BMBO-DARNは最小のコストで最も優れた予測性能（最小のパープレキシティ）を達成し、最終結果においてHyperbandやDNN-MFBOでさえも上回った。
• XGBoostタスクでは、5回の実行平均で最も低いlog-nRMSEを達成し、最適化の効率性と正確性の両面で優れた性能を示した。
• PINNタスクでは、最小限の学習時間で最良の解精度を達成するハイパーパramータを特定し、MF-MESや他のGPベースのベースラインを上回った。
• BMBO-DARNのクエリ生成時間は、DIRECTグローバル最適化を用いたMF-MESと比較して顕著に低く、MF-GP-UCBやDNN-MFBOと同等であった。これは、強力な計算効率を示している。
• 早期段階での性能が最適でない場合でも、本手法はオンラインLDAおよびPINNタスクにおいて、最終的にDNN-MFBOやHyperbandを上回る性能を達成した。これは、長期的な最適化の優位性を示している。