[논문 리뷰] Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks

Shibo Li, Robert M. Kirby외 1명|arXiv (Cornell University)|2021. 06. 17.

Machine Learning and Data Classification인용 수 7

한 줄 요약

이 논문은 복잡하고 비정상적인 관계를 다중 정밀도 수준 간에 모델링하기 위해 딥 자동회귀 베이지안 신경망을 사용하는 배치 다중 정밀도 베이지안 최적화 방법인 BMBO-DARN을 제안한다. 이는 최대값 엔트로피 검색 기반의 할당 함수를 통해 효율적이고 다양한 배치 쿼리 선택을 가능하게 하며, 네 가지 실제 하이퍼파라미터 튜닝 작업에서 최신 기준 대비 더 낮은 총 평가 비용으로 뛰어난 최적화 성능을 달성한다.

ABSTRACT

Bayesian optimization (BO) is a powerful approach for optimizing black-box, expensive-to-evaluate functions. To enable a flexible trade-off between the cost and accuracy, many applications allow the function to be evaluated at different fidelities. In order to reduce the optimization cost while maximizing the benefit-cost ratio, in this paper, we propose Batch Multi-fidelity Bayesian Optimization with Deep Auto-Regressive Networks (BMBO-DARN). We use a set of Bayesian neural networks to construct a fully auto-regressive model, which is expressive enough to capture strong yet complex relationships across all the fidelities, so as to improve the surrogate learning and optimization performance. Furthermore, to enhance the quality and diversity of queries, we develop a simple yet efficient batch querying method, without any combinatorial search over the fidelities. We propose a batch acquisition function based on Max-value Entropy Search (MES) principle, which penalizes highly correlated queries and encourages diversity. We use posterior samples and moment matching to fulfill efficient computation of the acquisition function and conduct alternating optimization over every fidelity-input pair, which guarantees an improvement at each step. We demonstrate the advantage of our approach on four real-world hyperparameter optimization applications.

연구 동기 및 목표

• 기존의 다중 정밀도 베이지안 최적화 방법이 너무 단순한 대체 모델을 사용해 정밀도 간의 복잡하고 비정상적인 관계를 포착하지 못하는 한계를 해결한다.
• 일괄적으로 하나씩 쿼리를 요청하는 방식의 비효율성을 해결하기 위해, 다양한 상관관계가 낮은 쿼리를 다중 정밀도 수준에서 동시에 확보할 수 있도록 한다.
• 정밀도 조합에 대한 조합적 탐색 없이도 효율적인 배치 쿼리 최적화 전략을 개발한다.
• 베이지안 신경망을 사용해 정밀도를 자동으로 순차적으로 모델링함으로써 대체 모델 학습 정확도와 최적화 성능을 향상시킨다.
• 실제 하이퍼파라미터 최적화 작업에서 뛰어난 비용 절감과 성능 향상을 보여주며, 제안된 방법의 효과성을 입증한다.

제안 방법

• 각 정밀도의 출력이 원래 입력과 모든 낮은 정밀도의 출력에 의존하는 딥 자동회귀 모델을 베이지안 신경망을 사용해 구축함으로써, 복잡하고 비정상적인 정밀도 간 관계를 강력하게 모델링한다.
• 베이지안 신경망 가중치의 사후 추론을 위해 하이퍼볼드 몬테카를로(HMC) 샘플링을 사용하여 불확실성 정량화를 가능하게 한다.
• 최대값 엔트로피 검색(MES) 원리를 기반으로 한 배치 할당 함수를 설계하여 상관관계가 높은 쿼리를 명시적으로 방지하고 배치 내의 다양성을 증진시킨다.
• 사후 샘플과 모멘트 매칭을 사용해 기능 값과 전역 최적값에 대한 다변량 정규 사후 분포를 근사함으로써 할당 함수의 효율적 계산을 가능하게 한다.
• 모든 입력-정밀도 쌍을 순환적으로 업데이트하여 할당 함수를 최대화하는 교대 최적화 알고리즘을 구현함으로써 조합적 탐색 없이도 단조로운 향상을 보장하고, 스케일이 큰 배치 쿼리 생성을 가능하게 한다.
• 모멘트 매칭과 사후 샘플링을 사용해 다중 정밀도 및 입력에 걸쳐 확장 가능하고 미분 가능한 할당 함수 최적화를 실현한다.

실험 결과

연구 질문

• RQ1 표준 가우시안 프로세스 기반 모델에 비해, 깊이 있는 자동회귀 베이지안 신경망 대체 모델은 다중 정밀도 베이지안 최적화에서 복잡하고 비정상적인 관계를 더 잘 포착할 수 있는가?
• RQ2 최대값 엔트로피 검색(MES) 원리를 기반으로 하되, 다각도성과 상관관계 방지를 명시적으로 고려한 배치 할당 함수는 순차적 또는 표준 배치 방법에 비해 더 효과적이고 효율적인 쿼리 선택을 이끌 수 있는가?
• RQ3 입력-정밀도 쌍에 대한 교대 최적화 전략은 조합적 탐색을 피하면서도 개선을 보장하고 스케일이 큰 배치 쿼리 생성을 가능하게 할 수 있는가?
• RQ4 실제 하이퍼파라미터 최적화 작업에서 BMBO-DARN은 최신 기준 다중 정밀도 BO 및 하이퍼파라미터 튜닝 기준 대비 더 높은 예측 성능과 더 낮은 총 평가 비용을 달성할 수 있는가?
• RQ5 기존의 배치 BO 방법과 비교했을 때, 제안된 방법은 쿼리 생성 시간과 대체 모델 학습 시간 측면에서 어떻게 스케일링되는가?

주요 결과

• BMBO-DARN은 모든 네 가지 실제 응용 사례(CNN, 온라인 LDA, XGBoost, PINN)에서 가장 낮은 총 평가 비용을 기록했으며, 비용 효율성 측면에서 다른 방법들을 일관되게 능가했다.
• CNN 및 온라인 LDA 작업에서 BMBO-DARN은 가장 낮은 퍼플렉서티를 달성하여 최고의 예측 성능을 보였으며, 최종 결과에서 Hyperband 및 DNN-MFBO를 모두 능가했다.
• XGBoost 작업에서는 다섯 번의 실행 평균에서 가장 낮은 로그-nRMSE를 기록하여 최적화 효율성과 정확도에서 뛰어난 성능을 보였다.
• PINN 작업에서는 최소한의 학습 시간으로 가장 높은 해법 정확도를 달성하는 하이퍼파라미터를 식별했으며, MF-MES 및 기타 GP 기반 기준 대비 뛰어난 성능을 보였다.
• BMBO-DARN의 쿼리 생성 시간은 DIRECT 전역 최적화를 사용한 MF-MES보다 뚜렷이 낮았고, MF-GP-UCB 및 DNN-MFBO와 유사하여 뛰어난 계산 효율성을 보였다.
• 초기 단계에서의 열악한 성능에도 불구하고, 온라인 LDA 및 PINN 작업에서 최종 성능에서 DNN-MFBO와 Hyperband를 모두 능가하는 것으로 나타나 장기적인 최적화 우수성을 입증했다.