[論文レビュー] A Study of Bayesian Neural Network Surrogates for Bayesian Optimization

Yucen Lily Li, Tim G. J. Rudner+1 more|arXiv (Cornell University)|May 31, 2023

Gaussian Processes and Bayesian Inference被引用数 5

ひとこと要約

この論文は、ベイジアン最適化における surrogate モデルとしてのベイジアンニューラルネットワーク（BNNs）を評価し、ハミルトニアンモンテカルロ（HMC）、ディープアンサンブル、無限幅 BNN などのさまざまな推論手法を、標準的なガウス過程（GP）と比較している。高次元および非定常な設定では、無限幅 BNN と HMC による有限 BNN が標準 GP より優れていることが判明した。一方、完全な確率的性質が一貫して有益であるとは限らず、小さなデータにおけるベイジアン最適化では、確率的性質よりもアーキテクチャの事前分布が重要であることが示唆された。

ABSTRACT

Bayesian optimization is a highly efficient approach to optimizing objective functions which are expensive to query. These objectives are typically represented by Gaussian process (GP) surrogate models which are easy to optimize and support exact inference. While standard GP surrogates have been well-established in Bayesian optimization, Bayesian neural networks (BNNs) have recently become practical function approximators, with many benefits over standard GPs such as the ability to naturally handle non-stationarity and learn representations for high-dimensional data. In this paper, we study BNNs as alternatives to standard GP surrogates for optimization. We consider a variety of approximate inference procedures for finite-width BNNs, including high-quality Hamiltonian Monte Carlo, low-cost stochastic MCMC, and heuristics such as deep ensembles. We also consider infinite-width BNNs, linearized Laplace approximations, and partially stochastic models such as deep kernel learning. We evaluate this collection of surrogate models on diverse problems with varying dimensionality, number of objectives, non-stationarity, and discrete and continuous inputs. We find: (i) the ranking of methods is highly problem dependent, suggesting the need for tailored inductive biases; (ii) HMC is the most successful approximate inference procedure for fully stochastic BNNs; (iii) full stochasticity may be unnecessary as deep kernel learning is relatively competitive; (iv) deep ensembles perform relatively poorly; (v) infinite-width BNNs are particularly promising, especially in high dimensions.

研究の動機と目的

• ベイジアンニューラルネットワーク（BNNs）が、ベイジアン最適化におけるガウス過程（GP）の代替として有効に機能するかを調査すること。
• ハミルトニアンモンテカルロ、確率的 MCMC、ディープアンサンブル、無限幅極限を含む、広範な BNN 推論手法を評価すること。
• 小規模データにおける最適化性能に与える確率的性質、表現学習、非定常性の影響を、多様な問題タイプにおいて評価すること。
• 標準的な GP surrogate よりも、BNN に特化したインダクティブバイアスが最適化効率を向上させるかを特定すること。
• モデル固有の設計バイアスを排除した、ベイジアン最適化における surrogate モデル選択の偏りのない評価フレームワークを提供すること。

提案手法

• ハミルトニアンモンテカルロ（HMC）、確率的勾配 MCMC、ディープアンサンブルを用いた、近似推論による完全な確率的多層 BNN を採用。
• ニューラルネットワークアーキテクチャから導かれる非定常カーネルを持つガウス過程に相当する無限幅 BNN を検討。
• 最後の層のみをベイジアンにする部分的に確率的なモデル（例：ディープカーネル学習（DKL））を評価。
• 事後分布からのサンプルのみを必要とするモンテカルロの獲得関数を用い、閉形式の予測分布が得られない非 GP surrogate の利用を可能にした。
• 離散／連続の入力タイプ、次元数、目的関数（単一／多目的）が異なる、合成的・実世界的・高次元の問題を含む多様なベンチマークスイートを用いた。
• ベンチマークごとに 5 回の制御された比較を実施し、平均性能と標準誤差を報告した。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルネットワークを surrogate として用いることで、標準的なガウス過程と比較して最適化性能が向上するか？
• RQ2 有限幅 BNN におけるさまざまな近似推論手順（例：HMC、ディープアンサンブル、SG-MCMC）は、ベイジアン最適化においてどのように比較されるか？
• RQ3 BNN における完全な確率的性質が性能向上に必要なのか、それとも、無限幅極限や DKL を通じた決定的表現で十分なのか？
• RQ4 GPs が困難をきたす非定常的・高次元最適化問題において、BNN surrogate はどのように性能を発揮するか？
• RQ5 深層アーキテクチャからの表現学習は、ベイジアン最適化において利点をもたらすのか、それともニューラルネットワークアーキテクチャのインダクティブバイアスがより重要なのか？

主な発見

• 完全な確率的 BNN における近似推論手法として、ハミルトニアンモンテカルロ（HMC）が最も効果的であり、確率的勾配 MCMC やディープアンサンブルを一貫して上回った。
• ディープアンサンブルは、他の機械学習分野では優れた性能を示すが、ベイジアン最適化では予想に反し著しく劣っており、小規模データ最適化には適していないことが示唆された。
• 無限幅 BNN は、特に高次元最適化において顕著に優れており、有限幅 BNN や標準 GP よりも優れた性能を発揮した。これは、アーキテクチャの事前分布が極めて価値があることを示している。
• 部分的に確率的なディープカーネル学習（DKL）は、完全な確率的 BNN と同等の性能を示した。これは、全パラメータの確率的性質が性能向上に不可欠ではない可能性を示唆している。
• 標準的なガウス過程は、強い事前分布と正確な推論のおかげで標準ベンチマークでは競争力があるが、非定常的および多目的設定では BNN に劣ることが判明した。
• どの surrogate モデルもすべての問題で優勢ではないため、最適化目的の特性に応じた、特化したインダクティブバイアスの導入が不可欠であることが強調された。