[논문 리뷰] BOSH: Bayesian Optimization by Sampling Hierarchically

Henry B. Moss, David S. Leslie외 1명|arXiv (Cornell University)|2020. 07. 02.

Gaussian Processes and Bayesian Inference참고 문헌 32인용 수 4

한 줄 요약

BOSH는 계층적 가우시안 프로세스와 정보 이론적 확보 전략을 사용하여 동적으로 실현 가능성을 증가시키는 새로운 베이지안 최적화 프레임워크를 도입한다. 이는 표준 BO에 비해 합성, 시뮬레이션, 강화 학습, 하이퍼파rameter 튜닝 작업 전반에서 더 효율적이고 정밀한 최적화를 가능하게 하며, 기존 실현 가능성의 평가와 새로운 실현 가능성의 샘플링 사이의 적응적 균형을 이룬다.

ABSTRACT

Deployments of Bayesian Optimization (BO) for functions with stochastic evaluations, such as parameter tuning via cross validation and simulation optimization, typically optimize an average of a fixed set of noisy realizations of the objective function. However, disregarding the true objective function in this manner finds a high-precision optimum of the wrong function. To solve this problem, we propose Bayesian Optimization by Sampling Hierarchically (BOSH), a novel BO routine pairing a hierarchical Gaussian process with an information-theoretic framework to generate a growing pool of realizations as the optimization progresses. We demonstrate that BOSH provides more efficient and higher-precision optimization than standard BO across synthetic benchmarks, simulation optimization, reinforcement learning and hyper-parameter tuning tasks.

연구 동기 및 목표

• 표준 베이지안 최적화가 소음이 많은 실현 가능성의 평균을 최적화하는 고정된 평가 전략(예: K-폴드 CV)을 사용함으로써 진정한 목표 함수를 고려하지 못하는 한계를 해결하기 위해.
• 부적절하거나 고정된 실현 가능성 집합으로 인해 잘못된 함수의 고정밀도 최적해로 수렴할 위험을 줄이기 위해.
• 최적화 과정 중 실현 가능성 풀을 적응적으로 증가시키는 방법을 개발하여, 사전에 실현 가능성 수를 정의하지 않더라도 효율성과 정밀도를 모두 향상시키기 위해.
• 기존의 다중 신뢰도 및 다중 작업 베이지안 최적화 프레임워크의 한계를 극복하고 스트로스틱 최적화에서 배치 확보와 확장 가능한 계산을 가능하게 하기 위해.
• 언제 기존 실현 가능성의 평가를 할 것인지, 언제 새로운 실현 가능성을 샘플링할 것인지 결정하기 위한 원칙적인 정보 이론적 프레임워크를 제공하기 위해.

제안 방법

• BOSH는 진정한 목표 함수를 잠재 함수로 모델링하고, 개별 실현 가능성을 이 잠재 함수의 변형으로 간주하여 계층적 가우시안 프로세스(HGP)를 사용한다.
• HGP는 커널 간에 공유된 길이 척도를 사용하여 모델의 안정성을 향상시키고, 단지 d+5개의 평가로도 신뢰할 수 있는 초기화를 가능하게 한다.
• 정보 이론적 확보 함수는 새로운 실현 가능성 평가 또는 기존 실현 가능성 평가의 유용성을 정량화하며, 새로운 실현 가능성 탐색과 기존 실현 가능성의 활용 사이의 균형을 이룬다.
• 프레임워크는 확보 함수를 다중 실현 가능성에 걸쳐 확장하여 다수의 점을 동시에 추천함으로써 배치 확보를 지원한다. 이는 병렬 평가를 가능하게 한다.
• 최적화가 진행됨에 따라 실현 가능성 풀을 동적으로 확장함으로써 고정된 평가 전략이 필요 없도록 한다.
• HGP는 다수의 실현 가능성에서 유입되는 점점 증가하는 평가 데이터를 기반으로 훈련되며, 계층을 통해 불확실성이 전파되어 의사결정을 안내한다.

실험 결과

연구 질문

• RQ1 베이지안 최적화 프레임워크가 최적화 과정 중 실현 가능성 풀을 동적으로 증가시켜 고정된 평가 전략에 비해 정밀도를 향상시킬 수 있는가?
• RQ2 새로운 실현 가능성 샘플링과 기존 실현 가능성 평가를 균형 잡는 정보 이론적 확보 함수가 더 효율적인 최적화를 이끌 수 있는가?
• RQ3 BOSH는 시뮬레이션, 강화 학습, 하이퍼파rameter 튜닝에서 표준 BO 및 기존의 다중 신뢰도 또는 다중 작업 BO 방법에 비해 더 높은 정밀도의 최적화를 달성할 수 있는가?
• RQ4 BOSH의 적응적 전략은 고정된 K 접근 방식에 비해 초기화 비용과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ5 BOSH는 고정밀도 최적화를 유지하면서 효과적인 평가 배치를 얼마나 잘 추천할 수 있는가?

주요 결과

• BOSH는 합성, 시뮬레이션, 강화 학습, 하이퍼파rameter 튜닝을 포함한 모든 벤치마크 작업에서 표준 BO에 비해 더 높은 정밀도의 최적화를 달성했다.
• Lunar Lander 작업에서 BOSH는 단지 10개의 병렬 평가로 하드코딩된 PID 제어기의 성능을 따라잡았으며, 표준 BO와 배치 BO를 모두 능가했다.
• IMDB 영화 리뷰 분류 작업에서 BOSH는 최대 4개의 훈련-테스트 분할을 사용하여 표준 BO가 K-폴드 CV를 사용할 때보다 더 정밀한 SVM 하이퍼파rameter 튜닝을 달성했다.
• 창고 할당 시뮬레이션에서 BOSH는 병렬 평가가 가능했음에도 불구하고 표준 BO가 브로드 최적화만 제공한 반면, 고정밀도 최적화를 달성했다.
• FASTCV는 각 실현 가능성에 대해 d+3개의 평가가 필요로 했지만, BOSH는 두 개의 실현 가능성에서 총 d+5개의 평가로 신뢰할 수 있는 초기화를 수행하여 훨씬 낮은 초기화 비용을 기록했다.
• BOSH의 적응적 전략은 병렬 자원이 이용 가능한 경우, 특히 고정된 평가 전략 하에서 배치 BO보다 더 빠르고 정밀한 튜닝을 가능하게 했다.