[논문 리뷰] Multi-objective Bayesian Optimization using Pareto-frontier Entropy

Shinya Suzuki, Shion Takeno외 3명|arXiv (Cornell University)|2019. 06. 01.

Advanced Multi-Objective Optimization Algorithms참고 문헌 30인용 수 13

한 줄 요약

이 논문은 다목적 베이지안 최적화의 새로운 방법인 파레토 경계 엔트로피 탐색(PFES)을 제안한다. 이 방법은 파레토 경계의 엔트로피를 이용해 획득 함수를 설계함으로써, 근사치 없이 신뢰할 수 있고 분석적으로 계산 가능한 엔트로피를 제공한다. PFES는 기존 방법들보다 상호 보완 관계를 효과적으로 포착하고, 분리된 관측 설정에 적응하여 벤치마크 및 실제 재료 과학 데이터셋에서 더 빠른 수렴을 보인다.

ABSTRACT

This paper studies an entropy-based multi-objective Bayesian optimization (MBO). The entropy search is successful approach to Bayesian optimization. However, for MBO, existing entropy-based methods ignore trade-off among objectives or introduce unreliable approximations. We propose a novel entropy-based MBO called Pareto-frontier entropy search (PFES) by considering the entropy of Pareto-frontier, which is an essential notion of the optimality of the multi-objective problem. Our entropy can incorporate the trade-off relation of the optimal values, and further, we derive an analytical formula without introducing additional approximations or simplifications to the standard entropy search setting. We also show that our entropy computation is practically feasible by using a recursive decomposition technique which has been known in studies of the Pareto hyper-volume computation. Besides the usual MBO setting, in which all the objectives are simultaneously observed, we also consider the "decoupled" setting, in which the objective functions can be observed separately. PFES can easily adapt to the decoupled setting by considering the entropy of the marginal density for each output dimension. This approach incorporates dependency among objectives conditioned on Pareto-frontier, which is ignored by the existing method. Our numerical experiments show effectiveness of PFES through several benchmark datasets.

연구 동기 및 목표

• 기존 엔트로피 기반 다목적 베이지안 최적화 방법들이 신뢰할 수 없는 근사치에 의존하거나 상호 보완 관계를 忽시하는 한계를 해결하기 위해.
• 파레토 경계의 불확실성을 직접 모델링하여 목표 간의 내재된 상호 보완 관계를 포착하기 위해.
• 재귀적 셀 분할 기법을 활용해 파레토 경계 엔트로피에 대한 효율적이고 분석적으로 다룰 수 있는 계산을 가능하게 하기 위해.
• 목표들이 별도로 평가될 수 있는 분리된 관측 설정으로의 확장을 위해, 변량 밀도 엔트로피를 활용하기 위해.
• 벤치마크 함수와 실제 재료 과학 데이터셋에서 PFES의 실험적 검증을 통해 더 뛰어난 수렴성과 비용 효율성을 입증하기 위해.

제안 방법

• PFES는 다목적 공간에서 파레토 경계의 엔트로피에 기반한 획득 함수를 정의하며, 파레토 최적 입력의 엔트로피가 아닌 파레토 경계의 엔트로피를 기반으로 한다.
• 도미네이티드 영역을 초직사각형으로 셀 기반 분할하여 파레토 경계 엔트로피의 분석적 계산을 가능하게 하며, 비용이 많이 드는 근사치를 피한다.
• 특히 L ≥ 3개의 목표에 대해 계산 복잡도를 효율적으로 관리하기 위해 파레토 초부피 계산에서 유래한 재귀적 분해 기법을 활용한다.
• 분리된 설정에서는 각 목표 차원의 변량 밀도 엔트로피를 계산하여, 파레토 경계에 조건부로 된 의존성을 포착한다.
• 표준 엔트로피 기반 가정 하에 획득 함수를 유도함으로써 이론적 일관성과 상호 보완 매개변수 없이 전역 유용성 측정이 가능하다.
• PFES는 가우시안 프로세스 회귀와 통합되며, 실무적으로 엔트로피 계산을 위해 파레토 경계의 샘플 기반 추정을 사용한다.

실험 결과

연구 질문

• RQ1 다목적 베이지안 최적화에서 파레토 경계의 엔트로피를 근사치 없이 분석적으로 계산할 수 있는가?
• RQ2 정보 이론적 획득 함수에서 목표 간의 상호 보완 관계를 효과적으로 포착할 수 있는가?
• RQ3 제안된 방법을 목표들이 별도로 관측되는 분리된 관측 설정으로 확장할 수 있는가?
• RQ4 벤치마크 및 실제 문제에서 기존 엔트로피 기반 및 스칼라화된 MBO 방법과 비교해 PFES의 성능 및 계산 효율성은 어떠한가?
• RQ5 특히 비용이 많이 드는 실제 재료 설계 시나리오에서, 관측 비용 대비 초부피 개선 측면에서 PFES가 더 빠른 수렴을 달성하는가?

주요 결과

• PFES는 셀 분할 기법을 통해 파레토 경계 엔트로피의 분석적 계산을 가능하게 하여, 이전 방법들(PESMO 등)이 사용하는 불신뢰성 있는 근사치를 피한다.
• 기존 MESMO가 개별 목표의 최댓값에만 집중하고 경계 구조를 忽시하는 것과 달리, PFES는 목표 간의 상호 보완 관계를 효과적으로 포착한다.
• L=4개의 목표를 가진 벤치마크 DTLZ4에서, PFES는 MESMO와 유사한 계산 시간(62.36초)을 유지하면서도 분석적 신뢰성과 더 나은 상호 보완 인식 능력을 확보했다.
• 실재 재료 데이터셋(Bi2O3 및 LLTO)에서, PFES(분리된 설정)는 초기에는 중간 정도의 개선을 보였지만, 저비용 관측을 수집한 후 급격히 성능 향상을 보였으며, 총 비용 대비 초부피 개선 측면에서 결합된 PFES를 능가했다.
• Bi2O3에서 (λ₁,λ₂)=(5,1) 조건 하에, PFES(분리된 설정)는 초기~중기 반복 단계에서 SMSego, EHI, 그리고 결합된 PFES보다 더 빠른 수렴을 달성하여 비용 인식 탐색 능력을 입증했다.
• 분리된 설정 버전의 PFES는 저비용 함수 평가를 먼저 활용한 후 고비용 평가로 전환함으로써 관측 예산을 더 효율적으로 사용하고 시간이 지남에 따라 초부피 개선도 향상시켰다.