[논문 리뷰] Multi-fidelity Bayesian Optimization with Max-value Entropy Search and its parallelization

Shion Takeno, Hitoshi Fukuoka외 5명|arXiv (Cornell University)|2019. 01. 24.

Advanced Multi-Objective Optimization Algorithms참고 문헌 37인용 수 23

한 줄 요약

이 논문은 정보 이론적 베이지안 최적화 방법인 다중 신뢰도 최대값 엔트로피 검색(MF-MES)을 제안한다. 이 방법은 입력 $m{x}_*$가 아닌 최적 함수 값 $f_*$에 초점을 맞춰 정보 수확을 효율적으로 계산함으로써, 복잡한 적분을 일차원 수치 적분으로 단순화한다. 이로 인해 계산 오버헤드를 최소화하면서도 정확하고 스케일러블하며 병렬 처리가 가능한 다중 신뢰도 최적화를 구현할 수 있으며, 벤치마크 함수와 재료 과학 데이터에서 검증되었다.

ABSTRACT

In a standard setting of Bayesian optimization (BO), the objective function evaluation is assumed to be highly expensive. Multi-fidelity Bayesian optimization (MFBO) accelerates BO by incorporating lower fidelity observations available with a lower sampling cost. In this paper, we focus on the information-based approach, which is a popular and empirically successful approach in BO. For MFBO, however, existing information-based methods are plagued by difficulty in estimating the information gain. We propose an approach based on max-value entropy search (MES), which greatly facilitates computations by considering the entropy of the optimal function value instead of the optimal input point. We show that, in our multi-fidelity MES (MF-MES), most of additional computations, compared with usual MES, is reduced to analytical computations. Although an additional numerical integration is necessary for the information across different fidelities, this is only in one dimensional space, which can be performed efficiently and accurately. Further, we also propose parallelization of MF-MES. Since there exist a variety of different sampling costs, queries typically occur asynchronously in MFBO. We show that similar simple computations can be derived for asynchronous parallel MFBO. We demonstrate effectiveness of our approach by using benchmark datasets and a real-world application to materials science data.

연구 동기 및 목표

• 기존의 정보 기반 방법이 복잡하고 근사적인 계산을 겪는 다중 신뢰도 베이지안 최적화(MFBO)에서 정보 수확을 추정하는 데 발생하는 계산적 과제를 해결한다.
• 여러 신뢰도 수준 간의 정보 수확 추정 과제를 해결하기 위해 최적 입력 $m{x}_*$가 아닌 최적 함수 값 $f_*$에 초점을 맞추어, 일차원이면서도 다루기 쉬운 $f_*$로 전환한다.
• 히우리스틱 근사에 의존하지 않고도 신뢰성 있고 효율적이며 해석적으로 다룰 수 있는 정보 수확 계산을 가능하게 하는 방법을 개발한다.
• 질문의 샘플링 비용이 상이한 실세계 MFBO 환경에서 흔히 발생하는 이종적 병렬 평가를 지원하기 위해 제안된 방법을 비동기 병렬 평가로 확장한다.
• 합성 벤치마크와 재료 과학 분야의 실제 적용 사례(침전상태 예측 모델의 파arameter 최적화 포함)에서 MF-MES의 효과성을 입증한다.

제안 방법

• 최적 함수 값 $f_* = \max_{\bm{x}} f(\bm{x})$의 엔트로피를 할당 기준으로 사용하는 다중 신뢰도 최대값 엔트로피 검색(MF-MES)을 제안하여, 전통적으로 $m{x}_*$에 초점을 맞춘 방법보다 정보 수확 계산을 단순화한다.
• 일차원적인 $f_*$의 성질을 활용해 MF-MES의 대부분의 추가 계산을 해석적 표현으로 줄이며, 교차 신뢰도 정보 수확에 대해서는 단 한 번의 일차원 수치 적분만 필요로 한다.
• 치환 적분을 적용하여 MF-MES를 비동기 병렬 환경으로 확장하여, 질문이 동기화되지 않은 경우에도 신뢰할 수 있는 정보 수확 추정이 가능하도록 한다.
• 다중 신뢰도 커널 구조(예: 선형 혼합 모델 또는 랜덤 특징 매핑 등)를 갖는 가우시안 프로세스 회귀(GPR)를 사용하여 다양한 신뢰도 수준에서의 목적 함수를 모델링한다.
• 표준 최적화 기법을 사용하여 할당 함수 최대화를 구현하며, 해석적 유도와 저차원 수치 적분을 통해 계산 효율성을 향상시킨다.
• 각 신규 질문이 $f_*$에 대한 기대 정보 수확을 기반으로 선택되는 순차적 및 병렬 최적화 루프에 방법을 통합하여, 탐색-이용 트레이드오프 파rameter 없이 전역적 유틸리티를 보장한다.

실험 결과

연구 질문

• RQ1 최적 입력 $m{x}_*$가 아닌 최적 함수 값 $f_*$에 초점을 맞춤으로써, 다중 신뢰도 베이지안 최적화에서 정보 수확을 더 빠르고 정확하게 계산할 수 있는가?
• RQ2 해석적 표현은 MFBO에서 정보 수확 추정의 계산 부담을 얼마나 줄일 수 있는가? 특히 EP 기반 PES와 비교했을 때의 성능을 고려할 때.
• RQ3 제안된 MF-MES 프레임워크는 질문이 서로 다른 시간에 처리되는 비동기 병렬 평가를 지원하도록 확장할 수 있는가?
• RQ4 벤치마크 및 실제 데이터 세트에서 MF-PES, BOCA, MFSKO, AsyTS와 같은 기존 MFBO 방법들과 비교해 볼 때, MF-MES의 최적화 성능과 계산 효율성은 어떠한가?
• RQ5 다양한 신뢰도 수준을 갖는 고비용 시뮬레이션을 포함하는 재료 과학 응용 분야에서 MF-MES는 더 높은 최적화 정확도와 샘플 효율성을 달성하는가?

주요 결과

• MF-PES는 계산 비용이 높은 기대값 전파(EP) 근사를 사용함에도 불구하고, MF-MES는 할당 함수 최대화가 훨씬 더 빠르게 수행된다.
• MF-MES의 계산 비용은 단 한 번의 일차원 수치 적분에 의해 지배되며, 이는 표준 적분 기법을 통해 효율적이고 정확하게 계산된다.
• 벤치마크 함수(예: Styblinski-Tang, HartMann6)와 실제 재료 과학 데이터에서 MF-MES는 더 낮은 목적 함수 값을 더 적은 평가 수로 달성하여 뛰어난 최적화 성능을 보였다.
• 비동기 병렬 확장은 현재 질문된 점들을 할당 함수에 통합하여 정보 수확 추정의 신뢰성을 유지하며, 이질적인 컴퓨팅 자원을 효율적으로 활용할 수 있도록 한다.
• 재료 과학 적용 사례에서 MF-MES는 시뮬레이션된 침전상태와 실험적으로 관측된 형태 간의 차이를 최소화함으로써, 격자 불일치와 인터페이스 에너지 두 가지 재료 파arameter를 성공적으로 최적화했다.
• 특히 샘플링 예산이 제한된 고신뢰도 영역에서 BOCA, MFSKO, AsyTS와 같은 기준 방법들보다 수렴 속도와 최종 해의 품질 면에서 뛰어난 성능을 보였다.