[논문 리뷰] BoTorch: A Framework for Efficient Monte-Carlo Bayesian Optimization

Maximilian Balandat, Brian Karrer외 5명|arXiv (Cornell University)|2019. 10. 14.

Machine Learning and Data Classification인용 수 203

한 줄 요약

BoTorch은 PyTorch 위에 구축된 모듈식 MC 베이지안 최적화 프레임워크로, 새로운 샘플 평균 근사 최적화(SAA) , 자동 미분, 분산 감소, 그리고 원샷 KG 공식화가 도입되어 기존 라이브러리 대비 샘플 효율성과 확장성을 개선한다.

ABSTRACT

Bayesian optimization provides sample-efficient global optimization for a broad range of applications, including automatic machine learning, engineering, physics, and experimental design. We introduce BoTorch, a modern programming framework for Bayesian optimization that combines Monte-Carlo (MC) acquisition functions, a novel sample average approximation optimization approach, auto-differentiation, and variance reduction techniques. BoTorch's modular design facilitates flexible specification and optimization of probabilistic models written in PyTorch, simplifying implementation of new acquisition functions. Our approach is backed by novel theoretical convergence results and made practical by a distinctive algorithmic foundation that leverages fast predictive distributions, hardware acceleration, and deterministic optimization. We also propose a novel "one-shot" formulation of the Knowledge Gradient, enabled by a combination of our theoretical and software contributions. In experiments, we demonstrate the improved sample efficiency of BoTorch relative to other popular libraries.

연구 동기 및 목표

• Monte-Carlo Bayesian optimization에 대한 모듈식, 미분 가능 프레임워크를 제공하고 현대 하드웨어 및 PyTorch 기반 모델을 활용한다.
• MC 취득 함수(opt acquisition functions) 최적화를 위한 샘플 평균 근사(SAA)를 도입하고 수렴 보장을 제공한다.
• 실용적 이점을 보여주는 원샷 Knowledge Gradient (OKG) look-ahead 취득 및 그것의 실용적 이점을 보여준다.
• 광범위한 실험을 통해 기존 BO 라이브러리 대비 성능 및 확장성 개선을 입증한다.

제안 방법

• MC 취득 함수를 후의 포스터리어 샘플에 대한 기대값으로 형식화하고 고정된 샘플 세트(SAA)로 근사한다.
• 재매개변화를 사용하여 취득 함수의 미분 가능 경로와 그래디언트를 얻는다.
• SAA 최적화에 대한 수렴 보증을 개발하고, RQMC 확장 포함.
• OKG를 도입한다, 결정적, 원샷 look-ahead KG 공식으로 중첩 최적화를 피하기 위해 fantasy 모델을 사용하고 후보 점과 fantasy 점에 대한 결합 최적화를 수행한다.
• 모듈식 BoTorch 추상화를 제공하여 모델-독립적이며 빠른 예측 분포 및 하드웨어 가속을 위한 GPyTorch와 통합한다.
• 다목적 및 병렬/노이즈 있는 취득 함수를 구체적 구현으로 시연한다(예: qParEGO, qNEI, qKnowledgeGradient).

실험 결과

연구 질문

• RQ1 고정된 샘플 세트(SAA)로 MC 취득 함수를 최적화하는 것이 수렴 보장을 가지며 효과적인가?
• RQ2 OKG의 원샷 공식이 기존 KG 방법과 비교하여 look-ahead BO 성능 및 확장성을 개선하는가?
• RQ3 BoTorch가 합성 및 실제 작업에서 표본 효율성과 계산 효율성 측면에서 다른 BO 라이브러리와 비교하여 어떤가?
• RQ4 BoTorch가 differentiable, GPU-가속 프레임워크 내에서 병렬, 비동기식, 다목적 및 노이즈 있는 취득 함수를 통합할 수 있는가?

주요 결과

• SAA 기반 MC 취득 함수 최적화는 엄밀한 조건 하에 a.s. 수렴 및 기하급수적 수렴 속도로 진짜 최적점으로 수렴한다.
• RQMC 기반 방법은 실험적으로 MC보다 수렴 속도를 더 개선한다.
• OKG는 수렴 보장을 갖는 확장 가능한 원샷 look-ahead KG 공식으로 경쟁력 있는 점근적 최적성과 함께 제공한다.
• BoTorch는 GPU 및 CPU에서 상당한 속도 향상과 확장성을 보여주며, 빠른 예측 분포로 인해 10–40X 속도 향상 및 배치 크기에 따라 거의 선형 확장을 보인다.
• OKG는 합성 테스트에서 다른 취득 함수보다 자주 우수한 성능을 보이고 MOE KG에 비해 최대 6배의 벽 시간 감소를 보이며 더 나은 최적화 성능을 제공한다.
• Hartmann, Cartpole DQN 튜닝 및 기타 하이퍼파라미터 최적화 작업에 걸친 실험적 결과는 샘플 효율성과 실용적 성능이 개선됨을 보여준다.