[논문 리뷰] A Study of Bayesian Neural Network Surrogates for Bayesian Optimization

Yucen Lily Li, Tim G. J. Rudner외 1명|arXiv (Cornell University)|2023. 05. 31.

Gaussian Processes and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 베이지안 신경망(BNNs)을 베이지안 최적화의 서rogate 모델로 평가하며, 하미льт로니안 몬테카를로(HMC), 딥 앙상블, 무한한 너비의 BNNs를 포함한 다양한 추론 방법을 표준 가우시안 프로세스(GP)와 비교한다. 고차원 및 비정상성 있는 설정에서 무한한 너비의 BNNs와 HMC로 추론한 유한한 BNNs가 표준 GP를 능가하는 것으로 나타났으며, 전면적인 확률적 성격이 항상 유리한 것은 아니므로, 소규모 데이터에서의 베이지안 최적화에서는 확률적 성격보다 아키텍처에 대한 사전 지식이 더 중요하다는 것을 시사한다.

ABSTRACT

Bayesian optimization is a highly efficient approach to optimizing objective functions which are expensive to query. These objectives are typically represented by Gaussian process (GP) surrogate models which are easy to optimize and support exact inference. While standard GP surrogates have been well-established in Bayesian optimization, Bayesian neural networks (BNNs) have recently become practical function approximators, with many benefits over standard GPs such as the ability to naturally handle non-stationarity and learn representations for high-dimensional data. In this paper, we study BNNs as alternatives to standard GP surrogates for optimization. We consider a variety of approximate inference procedures for finite-width BNNs, including high-quality Hamiltonian Monte Carlo, low-cost stochastic MCMC, and heuristics such as deep ensembles. We also consider infinite-width BNNs, linearized Laplace approximations, and partially stochastic models such as deep kernel learning. We evaluate this collection of surrogate models on diverse problems with varying dimensionality, number of objectives, non-stationarity, and discrete and continuous inputs. We find: (i) the ranking of methods is highly problem dependent, suggesting the need for tailored inductive biases; (ii) HMC is the most successful approximate inference procedure for fully stochastic BNNs; (iii) full stochasticity may be unnecessary as deep kernel learning is relatively competitive; (iv) deep ensembles perform relatively poorly; (v) infinite-width BNNs are particularly promising, especially in high dimensions.

연구 동기 및 목표

• 베이지안 신경망(BNNs)이 베이지안 최적화에서 표준 가우시안 프로세스(GP) 서rogate 모델의 효과적인 대안이 될 수 있는지 조사하기.
• 하미틀로니안 몬테카를로, 스위치드 그래디언트 MCMC, 딥 앙상블, 무한한 너비의 극한을 포함한 다양한 BNN 추론 방법을 평가하기.
• 소규모 데이터에서의 최적화 성능에 영향을 미치는 확률적 성격, 표현 학습, 비정상성의 영향을 다양한 문제 유형에 대해 평가하기.
• 표준 GP 서rogate 모델에 비해 BNNs에 특화된 인덕티브 바이어스가 최적화 효율성을 향상시키는지 판단하기.
• 모델 전용 설계 편향이 없는, 서rogate 모델 선택을 위한 객관적인 평가 프레임워크 제공하기.

제안 방법

• 하미틀로니안 몬테카를로(HMC), 스위치드 그래디언트 MCMC, 딥 앙상블을 통한 근사 추론을 사용하는 완전히 확률적인 다층 BNNs를 활용한다.
• 무한한 너비의 BNNs를 고려하며, 이는 신경망 아키텍처에서 유도된 비정상성 커널을 가진 가우시안 프로세스에 해당한다.
• 오직 마지막 레이어만 베이지안인 부분적으로 확률적인 모델인 딥 커널 러닝(DKL)과 같은 모델을 평가한다.
• 예측 분포의 닫힌 형태가 필요 없는 후행 샘플을 요구하는 몬테카를로 획득 함수를 사용하여, 닫힌 형태의 예측 분포가 없는 비-GP 서rogate 모델의 사용을 가능하게 한다.
• 다양한 입력 유형(이산/연속), 차원 수, 목표 수(단일/다중)를 가진 합성, 실제 세계, 고차원 문제를 포함하는 다양한 벤치마크 세트를 사용한다.
• 각 벤치마크에 대해 5회의 제어된 비교를 수행하며, 평균 성능와 표준 오차를 보고한다.

실험 결과

연구 질문

• RQ1 표준 가우시안 프로세스(GP)에 비해 베이지안 신경망(BNNs)을 서rogate로 사용할 경우 최적화 성능이 향상되는가?
• RQ2 유한한 너비의 BNNs에 대한 다양한 근사 추론 절차(HMC, 딥 앙상블, SG-MCMC 등)가 베이지안 최적화에서 어떻게 비교되는가?
• RQ3 BNNs에서 전면적인 확률적 성격이 성능 향상에 필수적인가, 아니면 무한한 너비 극한 또는 DKL을 통한 결정론적 표현으로도 충분한가?
• RQ4 GPs가 어려움을 겪는 비정상성 및 고차원 최적화 문제에서 BNN 서rogate는 어떻게 성능을 내는가?
• RQ5 딥 아키텍처에서 유도된 표현 학습이 베이지안 최적화에서 유의미한 이점을 제공하는가, 아니면 신경망 아키텍처의 인덕티브 바이어스가 더 중요한가?

주요 결과

• 하미틀로니안 몬테카를로(HMC)는 완전히 확률적인 BNNs에 대해 가장 효과적인 근사 추론 방법으로, 스위치드 그래디언트 MCMC와 딥 앙상블을 일관되게 능가한다.
• 딥 앙상블은 다른 머신러닝 설정에서는 강력한 성능을 보이지만, 베이지안 최적화에서는 놀랍게도 성능이 열악하여, 소규모 데이터 최적화에 적합하지 않다는 것을 시사한다.
• 무한한 너비의 BNNs는 고차원 최적화에서 특히 효과적이며, 일반적으로 유한한 너비의 BNNs와 표준 GP를 능가한다. 이는 아키텍처에 대한 사전 지식이 매우 유용하다는 것을 시사한다.
• 부분적으로 확률적인 딥 커널 러닝(DKL)은 완전히 확률적인 BNNs와 경쟁 가능하며, 성능 향상에 전면적인 매개변수의 확률적 성격이 반드시 필요하지 않다는 것을 시사한다.
• 표준 가우시안 프로세스는 강력한 사전 지식과 정확한 추론 덕분에 표준 벤치마크에서 경쟁력 있는 성능을 유지하지만, 비정상성 및 다목적 설정에서는 BNNs에 밀린다.
• 모든 문제에서 단일한 서rogate 모델이 우세하지 않으며, 최적화 목표의 특정 특성에 맞는 맞춤형 인덕티브 바이어스가 필요함을 강조한다.