[논문 리뷰] Differentiable Expected Hypervolume Improvement for Parallel Multi-Objective Bayesian Optimization

Samuel Daulton, Maximilian Balandat외 1명|arXiv (Cornell University)|2020. 06. 09.

Advanced Multi-Objective Optimization Algorithms참고 문헌 65인용 수 121

한 줄 요약

q-EHVI를 도입하는 차별화 가능하고 병렬화된 다목적 베이지안 최적화 획득 함수가 MC 오차까지 정확하게 결합된 EHVI를 계산하고, 자동 미분 및 GPU 가속으로 정확한 기울기를 제공하며, 우수한 성능과 처리 용이성을 보여준다.

ABSTRACT

In many real-world scenarios, decision makers seek to efficiently optimize multiple competing objectives in a sample-efficient fashion. Multi-objective Bayesian optimization (BO) is a common approach, but many of the best-performing acquisition functions do not have known analytic gradients and suffer from high computational overhead. We leverage recent advances in programming models and hardware acceleration for multi-objective BO using Expected Hypervolume Improvement (EHVI)---an algorithm notorious for its high computational complexity. We derive a novel formulation of q-Expected Hypervolume Improvement (qEHVI), an acquisition function that extends EHVI to the parallel, constrained evaluation setting. qEHVI is an exact computation of the joint EHVI of q new candidate points (up to Monte-Carlo (MC) integration error). Whereas previous EHVI formulations rely on gradient-free acquisition optimization or approximated gradients, we compute exact gradients of the MC estimator via auto-differentiation, thereby enabling efficient and effective optimization using first-order and quasi-second-order methods. Our empirical evaluation demonstrates that qEHVI is computationally tractable in many practical scenarios and outperforms state-of-the-art multi-objective BO algorithms at a fraction of their wall time.

연구 동기 및 목표

• 다수의 비용이 큰 여러 목표의 샘플 효율적인 최적화를 다룬다.
• MO BO를 위한 차별화 가능하고 병렬화된 획득 함수를 개발한다.
• 자동 미분을 통해 q-EHVI의 정확한 기울기 계산을 가능하게 한다.
• SAA 프레임워크 하에서 이론적 수렴 보장을 제공한다.
• 벤치마크 및 실제 문제에서 실험적으로 우월성과 실용적 처리 용이성을 입증한다.

제안 방법

• q-EHVI를 q개의 신규 포인트에 대한 정확한 MC 기반 공동 하이퍼볼륨 개선(HVI)으로 수식화한다.
• 비지배 공간에서 HVI를 계산하기 위해 박스 분해와 포함-배제 원리를 사용한다.
• MC-추정기의 기울기를 재매개화와 자동 미분을 통해 정확하게 계산한다.
• 획득 최대화를 위한 결정적 고차 최적화를 가능하게 하기 위해 Sample Average Approximation을 적용한다.
• 연결 가능한 결과 제약에 대해 미분 가능 시그모이드를 통해 타당성 가중치를 적용하여 확장을 한다.
• 실제 실행에서 빠른 wall time과 포인트당 계산이 거의 상수에 가까워지도록 GPU 병렬 처리를 활용한다.

실험 결과

연구 질문

• RQ1 M>2개의 목표에 대해 MC 오차 범위 내에서 병렬 MO BO에 대해 q-EHVI가 정확한 공동 EHVI를 제공할 수 있는가?
• RQ2 정확한 MC 기울기가 그래디언트 기반 최적화를 그래디언트가 없는 방법과 비교해 더 효율적으로 수행하게 하는가?
• RQ3 보조 결과 제약 및 고병렬 설정에서 q-EHVI의 성능은 어떠한가?
• RQ4 Sample Average Approximation 프레임워크 하에서 q-EHVI를 최적화할 때의 수렴 보장은 무엇인가?

주요 결과

• q-EHVI는 M>2 및 제약이 있는 병렬 MO BO에 대해 MC 추정기의 정확한 기울기를 가능하게 한다.
• 이 방법은 최신 MO BO 기반 대비 경험적으로 더 빠르며 종종 더 나은 하이퍼볼륨 커버리지를 달성한다.
• 정확한 기울기를 사용하는 최적화가 그래디언트-프리 및 유한차 방법보다 현저히 우수하다.
• 순차적 그리디 및 공동 최적화 모두 가능하며, 대기 중인 포인트에 대한 순차적 통합이 우수한 성능을 보인다.
• 현대 GPU에서 효율적으로 확장되며, 실제 wall time를 제공하고 배치 크기 q가 커져도 견고함을 유지한다(분할 한계에 따라 다름).
• 합성 및 실제 MO 문제(차량 안전 설계 및 ABR 제어 포함)에 대한 실험은 수렴 속도와 최종 하이퍼볼륨 측면에서 우월한 성능을 보여준다.