[논문 리뷰] Parallel Bayesian Optimization of Multiple Noisy Objectives with Expected Hypervolume Improvement

Samuel Daulton, Maximilian Balandat외 1명|arXiv (Cornell University)|2021. 05. 17.

Advanced Multi-Objective Optimization Algorithms인용 수 92

한 줄 요약

본 논문은 소음이 있는 다목적 베이지안 최적화를 위한 NEHVI와 대형 배치를 다루기 위한 캐시된 박스 분해를 이용한 확장 병렬 변형 q NEHVI를 제시하여 최첨단 성능을 달성한다.

ABSTRACT

Optimizing multiple competing black-box objectives is a challenging problem in many fields, including science, engineering, and machine learning. Multi-objective Bayesian optimization (MOBO) is a sample-efficient approach for identifying the optimal trade-offs between the objectives. However, many existing methods perform poorly when the observations are corrupted by noise. We propose a novel acquisition function, NEHVI, that overcomes this important practical limitation by applying a Bayesian treatment to the popular expected hypervolume improvement (EHVI) criterion and integrating over this uncertainty in the Pareto frontier. We argue that, even in the noiseless setting, generating multiple candidates in parallel is an incarnation of EHVI with uncertainty in the Pareto frontier and therefore can be addressed using the same underlying technique. Through this lens, we derive a natural parallel variant, $q$NEHVI, that reduces computational complexity of parallel EHVI from exponential to polynomial with respect to the batch size. $q$NEHVI is one-step Bayes-optimal for hypervolume maximization in both noisy and noiseless environments, and we show that it can be optimized effectively with gradient-based methods via sample average approximation. Empirically, we demonstrate not only that $q$NEHVI is substantially more robust to observation noise than existing MOBO approaches, but also that it achieves state-of-the-art optimization performance and competitive wall-times in large-batch environments.

연구 동기 및 목표

• 다수의 소음이 있는 블랙박스 목표들 간의 높은 샘플 효율성으로 최적의 트레이드오프(Pareto 프런티어)를 식별한다.
• MOBO의 관측 노이즈를 적절히 반영하는 획득함수를 개발한다.
• 현실 세계 환경에서 처리량을 향상시키기 위해 확장 가능한 병렬/배치 평가를 가능하게 한다.
• 노이즈 하에서 기준 방법을 능가하는 이론적으로 타당하고 경험적으로 강건한 방법을 제공한다.

제안 방법

• 관찰된 지점의 함수 값의 후방 분포 p(f|D)를 통해 EHVI를 적분하여 노이즈가 있는 기대 하이퍼볼륨 개선(NEHVI)을 정의한다.
• 후방으로부터의 샘플과 후보점과의 결합 샘플을 사용하여 몬테카를로로 NEHVI를 근사한다(전체-MC 변형).
• 평가 간에 Pareto 프런티어와 박스 분해를 재사용하기 위해 Cached Box Decompositions(CBD)을 도입하여 배치 크기 q에서 시간/공간 복잡도를 지수에서 다항식으로 감소시킨다.
• 계속 가능한 최적화를 유지하기 위해 순차적 탐욕 근사를 사용한 q NEHVI로 병렬/배치 설정으로 확장한다.
• 노이즈 환경에서 NEHVI가 한 단계 베이지안 최적성을 유지함을 증명하고 CBD가 gradient-based 방법으로 미분 가능한 획득 최적화를 가능하게 함을 증명한다.
• 더 빠른 배치 선택을 위해 임의 푸리에 특성(Random Fourier Features)을 사용한 단일 GP 샘플 경로를 활용한 더 저렴한 근사 q NEHVI-1을 제시한다.

실험 결과

연구 질문

• RQ1 관측값에 노이즈가 있을 때 MOBO를 어떻게 효과적으로 수행할 수 있는가?
• RQ2 노이즈가 있을 때 큰 배치 크기에 EHVI 기반의 획득함수를 확장하더라도 성능 저하 없이 가능할까?
• RQ3 Pareto 프런티어의 불확실성을 통합하는 NEHVI가 소음이 있는 관측에서 Pareto 프런티어의 강건성 및 다양성을 향상시키는가?
• RQ4 대규모 문제에서 NEHVI를 실제로 어떻게 효율적으로 계산하고 최적화할 수 있는가?

주요 결과

• NEHVI는 기존 MOBO 접근법보다 관측 노이즈에 대해 더 강건하며, 군집 현상 없이 잘 분포된 Pareto 프런티어를 산출한다.
• CBD 접근법은 병렬 EHVI의 시간/공간 복잡도를 배치 크기 q에 대해 지수에서 다항식으로 낮추어 대형 배치를 가능하게 한다.
• q NEHVI가 대형 배치 설정에서 최첨단 최적화 성능과 경쟁력 있는 wall-times를 달성한다.
• q NEHVI-1은 그래디언트 기반 최적화로 더 빠른 대안을 제공하며 GPU 하드웨어에서 잘 확장된다.
• 실험은 합성 및 실제 노이즈가 있는 MOBO 벤치마크에서 다수의 기준선대비 강력한 성능을 보여준다.