[논문 리뷰] Multi-Fidelity Bayesian Optimization via Deep Neural Networks

Shibo Li, Wei Xing외 2명|arXiv (Cornell University)|2020. 01. 01.

Advanced Multi-Objective Optimization Algorithms인용 수 4

한 줄 요약

이 논문은 블랙박스 목적 함수의 다중 민감도 수준 간 복잡한 비선형 상관관계를 모델링하기 위해 딥 네ural 네트워크를 활용하는 딥 네ural 네트워크 다중 민감도 베이지안 최적화(DNN-MFBO)를 제안한다. 민감도별 가우스-에르미트 적분과 모멘트 매칭을 상호정보량 기반의 획득 함수에 통합함으로써, DNN-MFBO는 계산 비용을 줄이며 효율적이고 정확한 최적화를 가능하게 하며, 합성 및 실제 공학 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

Bayesian optimization (BO) is a popular framework to optimize black-box functions. In many applications, the objective function can be evaluated at multiple fidelities to enable a trade-off between the cost and accuracy. To reduce the optimization cost, many multi-fidelity BO methods have been proposed. Despite their success, these methods either ignore or over-simplify the strong, complex correlations across the fidelities, and hence can be inefficient in estimating the objective function. To address this issue, we propose Deep Neural Network Multi-Fidelity Bayesian Optimization (DNN-MFBO) that can flexibly capture all kinds of complicated relationships between the fidelities to improve the objective function estimation and hence the optimization performance. We use sequential, fidelity-wise Gauss-Hermite quadrature and moment-matching to fulfill a mutual information-based acquisition function, which is computationally tractable and efficient. We show the advantages of our method in both synthetic benchmark datasets and real-world applications in engineering design.

연구 동기 및 목표

• 기존의 다중 민감도 베이지안 최적화 방법들이 다중 민감도 수준 간의 복잡한 상관관계를 과도하게 단순화하거나 忽시하는 한계를 해결하기 위해.
• 딥 네ural 네트워크를 활용해 다중 민감도 수준 간의 복잡한 비선형 관계를 포착함으로써 목적 함수 추정의 정확도를 향상시키기 위해.
• 활성 학습을 위해 상호정보량을 활용하면서도 계산이 가능하도록 유지되는 계산 효율적인 획득 함수를 개발하기 위해.
• 블랙박스 함수 최적화에서 평가 비용과 민감도 정확도 사이의 효과적인 트레이드오���을 통해 최적화 비용을 감소시키기 위해.
• 최신 기술 대비 합성 벤치마크와 실제 공학 설계 문제 모두에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 저품질 및 고품질 목적 함수 간의 공동 관계를 모델링하기 위해 딥 네ural 네트워크 아키텍처를 제안하여 복잡한 비선형 의존성을 포착한다.
• 상호정보량 기반 획득 함수의 기대값을 근사하기 위해 순차적 민감도별 가우스-에르미트 적분을 적용하여 계산 가능성을 확보한다.
• 다양한 민감도 수준에서 목적 함수의 사후 평균과 분산을 효율적으로 계산하기 위해 모멘트 매칭 기법을 도입한다.
• 민감도별 불확실성을 고려하면서도 탐색과 이용의 균형을 맞추는 상호정보량 기반 획득 함수를 설계한다.
• 딥 네ural 네트워크를 활용한 계층적 베이지안 모델을 도입하여 다양한 민감도 수준에서 목적 함수의 평균과 공분산 구조를 함께 모델링한다.
• 획득 함수에 기반해 다음 평가 지점을 선택하는 순차 최적화 전략을 적용하여 모델을 반복적으로 개선한다.

실험 결과

연구 질문

• RQ1 딥 네ural 네트워크는 다중 민감도 베이지안 최적화에서 저품질 및 고품질 평가 간의 복잡한 비선형 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 제안된 DNN-MFBO 방법은 기존의 다중 민감도 BO 접근법 대비 수렴 속도와 최종 해 품질 측면에서 어떻게 비교되는가?
• RQ3 민감도별 가우스-에르미트 적분과 모멘트 매칭의 사용이 정확도를 희생시키지 않으면서도 계산 효율성을 얼마나 향상시키는가?
• RQ4 DNN-MFBO의 상호정보량 기반 획득 함수는 표준 획득 함수 대비 더 나은 탐색-이용 균형을 이끌어내는가?
• RQ5 DNN-MFBO는 다양한 실제 공학 설계 문제에 일반화되어 있으며, 안정적인 성능을 유지할 수 있는가?

주요 결과

• 합성 벤치마크 함수에서 복잡한 비선형 민감도 관계를 가진 경우 DNN-MFBO는 기준선 다중 민감도 BO 방법보다 더 빠른 수렴 속도와 높은 해 품질을 달성한다.
• 저품질 평가를 효과적으로 활용하여 고품질 최적화를 이끄는 방식으로 상당한 비용 절감을 달성하며, 고비용 고품질 평가 횟수를 줄였다.
• 실증 결과에 따르면, 딥 네ural 네트워크로 민감도 상관관계를 모델링할 경우 선형 또는 커널 기반 모델 대비 더 정확한 목적 함수 추정이 가능하다.
• 민감도별 가우스-에르미트 적분과 모멘트 매칭의 사용으로 획득 함수의 계산이 효율적으로 이루어져 고차원 입력에서도 확장 가능성을 유지한다.
• 실제 공학 설계 응용 분야에서 DNN-MFBO는 평가 횟수를 줄이며 최적의 설계를 더 빨리 찾는 데서 기존 방법들을 능가함을 확인하여 실용적 유용성을 입증한다.
• DNN-MFBO의 상호정보량 기반 획득 함수는 민감도 수준에서 높은 불확실성을 가진 영역에서 더 나은 탐색을 가능하게 한다.