[논문 리뷰] Bayesian Optimization using Deep Gaussian Processes

Ali Hebbal, Loïc Brevault외 3명|arXiv (Cornell University)|2019. 05. 07.

Gaussian Processes and Bayesian Inference참고 문헌 58인용 수 14

한 줄 요약

이 논문은 비정상적 블랙박스 함수를 더 효과적으로 다루기 위해 표준 가우시안 프로세스보다 더 나은 성능을 내는 표면 모델로 딥 가우시안 프로세스(DGPs)를 사용하는 베이지안 최적화 알고리즘인 DEGO를 제안한다. 비정상적 행동의 개선된 표현을 위해 계층적 구조를 활용하고 자연 미분 경량 최적화 및 온전한 초기화를 통합함으로써, DEGO는 분석적 및 항공우주 설계 문제에서 최신 베이지안 최적화 방법들보다 더 빠른 수렴과 뛰어난 성능을 달성한다.

ABSTRACT

Bayesian Optimization using Gaussian Processes is a popular approach to deal with the optimization of expensive black-box functions. However, because of the a priori on the stationarity of the covariance matrix of classic Gaussian Processes, this method may not be adapted for non-stationary functions involved in the optimization problem. To overcome this issue, a new Bayesian Optimization approach is proposed. It is based on Deep Gaussian Processes as surrogate models instead of classic Gaussian Processes. This modeling technique increases the power of representation to capture the non-stationarity by simply considering a functional composition of stationary Gaussian Processes, providing a multiple layer structure. This paper proposes a new algorithm for Global Optimization by coupling Deep Gaussian Processes and Bayesian Optimization. The specificities of this optimization method are discussed and highlighted with academic test cases. The performance of the proposed algorithm is assessed on analytical test cases and an aerospace design optimization problem and compared to the state-of-the-art stationary and non-stationary Bayesian Optimization approaches.

연구 동기 및 목표

• 기존 가우시안 프로세스의 정상성 공분산 가정으로 인해 비정상적 블랙박스 함수를 다루는 데 한계가 존재하는 문제를 해결하기 위해.
• 복잡한 비정상적 반응 표면을 모델링하기 위해 딥 가우시안 프로세스의 표현 능력을 활용하는 새로운 베이지안 최적화 알고리즘을 개발하기 위해.
• 반복적인 BO 루프 전반에 걸쳐 자연 미분 최적화와 온전한 초기화를 통합하여 최적화 효율을 향상시키기 위해.
• 기준 분석 함수와 실제 항공우주 설계 문제에서 제안된 방법을 검증하여 더 뛰어난 수렴성과 강건성을 입증하기 위해.
• 표준 GP 기반 접근 방식을 초월해 DGPs의 잠재력을 탐색하기 위해, 보조 기준 함수 및 병렬 처리를 포함한 다양한 응용 가능성을 탐색하기 위해.

제안 방법

• 비정상적 행동을 정상성 있는 GPs의 기능 조합을 통해 포괄하기 위해 두 개의 은닉층을 갖는 딥 가우시안 프로세스 표면 모델을 사용한다.
• 모든 변분 매개변수에 대해 자연 미분 최적화를 적용하여 Evidence Lower Bound(ELBO)의 수렴을 향상시킨다.
• 이전 DGP 모델의 최적 매개변수를 다음 반복으로 이관함으로써 온전한 초기화를 사용하여 반복적 BO 루프 내에서 학습 속도를 가속화한다.
• DGP 예측이 반드시 가우시안이 아니므로, 기대 개선도(EI) 보완 기준의 샘플링 기반 근사치를 사용한다.
• 보완 기준을 최적화하기 위해 병렬 차별 진화 알고리즘을 사용하며, 인구 수는 400, 세대 수는 100으로 설정한다.
• 모든 계층에서 데이터 표준화를 통해 평균 0, 분산 1로 조정하고, 초기 길이 척도와 분산이 1인 RBF 커널을 사용한다.

실험 결과

연구 질문

• RQ1 표준 가우시안 프로세스에 비해 딥 가우시안 프로세스가 비정상적 블랙박스 함수에 대한 베이지안 최적화 성능을 향상시킬 수 있는가?
• RQ2 반복적 베이지안 최적화 맥락에서 자연 미분 최적화가 DGP 학습의 안정성과 수렴성에 어떻게 기여하는가?
• RQ3 BO 반복 간 DGP 매개변수의 온전한 초기화가 학습 시간을 얼마나 줄이고 수렴 속도를 향상시키는가?
• RQ4 제안된 DEGO 알고리즘이 분석적 문제와 실제 문제에서 최신 정상성 및 비정상성 베이지안 최적화 방법들과 비교해 어떻게 성능을 냈는가?
• RQ5 예측이 비가우시안일 경우, 샘플링 기반 보완 기준 사용이 DGP 기반 베이지안 최적화에 어떤 영향을 미치는가?

주요 결과

• DEGO는 표준 BO와 GP, 비선형 매핑 접근 방식에 비해 분석적 테스트 함수(수정된 Xiong 및 TNK 함수 포함)에서 더 빠른 수렴과 향상된 강건성을 보였다.
• 10차원 Trid 함수에서 DEGO는 기준 방법들보다 더 적은 함수 평가 수로 전역 최소값을 성공적으로 탐색했다.
• 6차원 Hartmann 함수에서 DEGO는 특히 비정상성이 높은 영역에서 최신 기술보다 뛰어난 최적화 성능을 보였다.
• 실제 항공우주 설계 최적화 문제에서 DEGO는 고전적 BO와 GP를 사용한 방법에 비해 수렴 속도가 빠르게 나타나 엔지니어링 응용 분야에서 실용적 이점을 보였다.
• 자연 미분 최적화 사용으로 인해 DGP 학습 중 ELBO의 수렴이 더 안정적이고 신속해졌으며, 불확실성 정량화가 향상되었다.
• 온전한 초기화로 인해 반복적인 BO 반복 주기 동안 학습 시간이 감소하여 전체 알고리즘의 효율성이 향상되었다.