[논문 리뷰] Multi-fidelity Bayesian Optimization with Max-value Entropy Search.

Shion Takeno, Hitoshi Fukuoka외 5명|arXiv (Cornell University)|2019. 01. 24.

Machine Learning and Data Classification인용 수 18

한 줄 요약

이 논문은 다중 신뢰도 설정에서 정보 수확 추정을 향상시키기 위해 최대값 엔트로피 검색(MES)을 사용하는 새로운 다중 신뢰도 베이지안 최적화 방법을 제안한다. 단일 1차원 적분과 샘플링을 통해 획득 함수를 분석적으로 계산할 수 있도록 함으로써 효율적이고 정확한 최적화를 달성하였으며, 시뮬레이션 데이터, 벤치마크 데이터, 실세계 재료 과학 데이터에서 뛰어난 성능을 보였다.

ABSTRACT

Bayesian optimization (BO) is an effective tool for black-box optimization in which objective function evaluation is usually quite expensive. In practice, lower fidelity approximations of the objective function are often available. Recently, multi-fidelity Bayesian optimization (MFBO) has attracted considerable attention because it can dramatically accelerate the optimization process by using those cheaper observations. We propose a novel information theoretic approach to MFBO. Information-based approaches are popular and empirically successful in BO, but existing studies for information-based MFBO are plagued by difficulty for accurately estimating the information gain. Our approach is based on a variant of information-based BO called max-value entropy search (MES), which greatly facilitates evaluation of the information gain in MFBO. In fact, computations of our acquisition function is written analytically except for one dimensional integral and sampling, which can be calculated efficiently and accurately. We demonstrate effectiveness of our approach by using synthetic and benchmark datasets, and further we show a real-world application to materials science data.

연구 동기 및 목표

• 기존의 정보이론적 다중 신뢰도 베이지안 최적화(MFBO) 방법에서 정보 수확 추정이 정확하지 못한 문제를 해결하기 위해.
• 다중 신뢰도 설정에 맞게 조정된 엔트로피 검색의 변종을 활용하여 다중 신뢰도 최적화의 효율성과 정확도를 향상시키기 위해.
• 단일 1차원 적분과 샘플링으로 복잡도를 줄여 정보 기반 MFBO의 실용적 구현을 가능하게 하기 위해.
• 특히 재료 과학 분야의 적용 사례에서 시뮬레이션 및 실세계 데이터셋을 대상으로 방법의 성능을 검증하기 위해.

제안 방법

• 정보이론적 베이지안 최적화의 변종인 최대값 엔트로피 검색(MES)의 다중 신뢰도 확장 방법을 제안하며, 이는 정보 수확 계산을 단순화한다.
• 기대 정보 수확을 분석적으로 평가할 수 있도록 하는 획득 함수를 유도하며, 유일한 1차원 적분 외에는 나머지 부분이 분석적으로 계산 가능하다.
• 남은 1차원 적분을 몬테카를로 샘플링을 통해 근사화하여 효율적이고 정확한 계산을 보장한다.
• 하위 신뢰도 함수 평가를 최적화 과정에 통합하여 전역 최적해에 수렴하는 속도를 가속화한다.
• 목적 함수와 그 신뢰도 수준들에 대한 확률 모델을 가우시안 프로세스를 사용해 유지한다.
• 최적의 입력에 대한 기대 정보 수확을 최대화하는 다음 평가 지점을 선택하기 위해 획득 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 최대값 엔트로피 검색은 다중 신뢰도 베이지안 최적화에 효과적으로 확장되어 정보 수확 추정을 향상시킬 수 있는가?
• RQ2 제안된 방법은 기존의 MFBO 접근법에 비해 수렴 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ3 단일 1차원 적분과 샘플링만으로 효율적으로 구현되어 실용적 적용이 가능한가?
• RQ4 이 방법은 실세계 재료 과학 최적화 과제에서 강력한 성능을 보여주는가?

주요 결과

• 제안된 방법은 MES를 다중 신뢰도 설정에 재구성함으로써 정보 수확 추정을 정확하게 수행하며, 계산 복잡도를 단일 1차원 적분으로 줄였다.
• 샘플링과 분석적 표현을 활용해 획득 함수를 효율적이고 정확하게 평가할 수 있어 실세계 상황에서의 실용적 활용이 가능하다.
• 시뮬레이션 및 벤치마크 데이터셋에 대한 실험 결과, 기존의 MFBO 방법에 비해 더 빠른 수렴 속도와 향상된 최적화 성능을 보였다.
• 실세계 재료 과학 응용 사례에서, 고비용 평가 횟수를 줄이며 뛰어난 성능을 보이는 물질 조성 물질을 성공적으로 식별하였다.