[논문 리뷰] Bayesian Optimization over Discrete and Mixed Spaces via Probabilistic Reparameterization

Samuel Daulton, Xingchen Wan외 4명|arXiv (Cornell University)|2022. 10. 18.

Advanced Multi-Objective Optimization Algorithms인용 수 16

한 줄 요약

이 논문은 이산 및 혼합 공간에서 베이지안 최적화를 위한 확률적 재정의(Probabilistic Reparameterization, PR)를 제안한다. 이는 이산 변수를 연속 확률 분포로 재정의하여, 이러한 분포 위에서 기대값을 취한 획득 함수를 최적화함으로써 기울기 기반 최적화를 가능하게 한다. PR는 정류점으로의 수렴을 보장하고 표준 BO의 오차 한계를 유지하며, 이로 인해 이산 및 혼합 검색 공간을 가진 실제 문제에서 기존 방법들을 능가한다.

ABSTRACT

Optimizing expensive-to-evaluate black-box functions of discrete (and potentially continuous) design parameters is a ubiquitous problem in scientific and engineering applications. Bayesian optimization (BO) is a popular, sample-efficient method that leverages a probabilistic surrogate model and an acquisition function (AF) to select promising designs to evaluate. However, maximizing the AF over mixed or high-cardinality discrete search spaces is challenging standard gradient-based methods cannot be used directly or evaluating the AF at every point in the search space would be computationally prohibitive. To address this issue, we propose using probabilistic reparameterization (PR). Instead of directly optimizing the AF over the search space containing discrete parameters, we instead maximize the expectation of the AF over a probability distribution defined by continuous parameters. We prove that under suitable reparameterizations, the BO policy that maximizes the probabilistic objective is the same as that which maximizes the AF, and therefore, PR enjoys the same regret bounds as the original BO policy using the underlying AF. Moreover, our approach provably converges to a stationary point of the probabilistic objective under gradient ascent using scalable, unbiased estimators of both the probabilistic objective and its gradient. Therefore, as the number of starting points and gradient steps increase, our approach will recover of a maximizer of the AF (an often-neglected requisite for commonly used BO regret bounds). We validate our approach empirically and demonstrate state-of-the-art optimization performance on a wide range of real-world applications. PR is complementary to (and benefits) recent work and naturally generalizes to settings with multiple objectives and black-box constraints.

연구 동기 및 목표

• 기울기 방법이 실패하는 고기수 또는 혼합 이산-연속 검색 공간에서 획득 함수 최적화의 과제를 해결하기 위해.
• 이산 구성의 완전한 열거 없이도 효율적이고 확장 가능한 획득 함수 최적화를 가능하게 하는 방법을 개발하기 위해.
• 재정의를 통한 확률적 목표 함수 최대화가 원래 획득 함수를 최대화하는 것과 동일한 최적 정책을 제공함을 증명하여, 이론적 오차 한계를 유지하기 위해.
• 실제 블랙박스 최적화 문제에서 이산 및 혼합 매개변수를 가진 경우에 상태최고 수준의 성능을 달성함을 경험적으로 보여주기 위해.
• 이산 변수에 대한 커널 선택에 민감하지 않게 유지함으로써 기존 BO 프레임워크(다중 목표, 제약 조건, 신뢰 영역 방법 포함)와의 호환성을 확보하기 위해.

제안 방법

• 이산 변수를 단순체 위의 연속 확률 분포로 재정의하여, 이산 최적화 문제를 단순체 위의 연속 최적화 문제로 변환하기 위해.
• 재정의된 이산 분포 위에서 획득 함수의 기대값으로 정의된 확률적 목표 함수(PO)를 정의하기 위해.
• 확률적 목표 함수와 그 확률 매개변수에 대한 기울기의 편향 없는, 확장 가능한 몬테카를로 추정기들을 유도하기 위해.
• 이 추정기를 사용하여 확률적 목적 함수 표면의 정류점으로 수렴하는 확률적 기울기 상승을 적용하기 위해.
• 확률적 목표 함수의 최대화자들이 원래 획득 함수의 최대화자들과 정확히 일치함을 증명하여, 정책과 오차 보장을 동일하게 유지하기 위해.
• 표준 베이지안 최적화 파이프라인과 통합하여, 이산 변수에 대한 임의의 커널(분류형, 임베딩 기반, 원-핫 인코딩 표현 포함)을 지원하기 위해.

실험 결과

연구 질문

• RQ1 확률적 재정의를 사용하여 이산 및 혼합 공간에서 획득 함수 최대화 문제를 연속 최적화 문제로 재구성할 수 있는가?
• RQ2 이산 선택의 확률 분포 위에서 획득 함수의 기대값을 최적화하는 것이 표준 베이지안 최적화의 이론적 오차 한계를 유지하는가?
• RQ3 반복 횟수와 시작점의 수가 증가함에 따라 재정의된 목표 함수에 대한 확률적 기울기 상승이 원래 획득 함수의 전역 최대화자에 수렴하는가?
• RQ4 실제 이산 및 혼합 최적화 작업에서 기존 방법(예: 진화 알고리즘, 기울기 없는 최적화)과 비교해 확률적 재정의의 성능은 어떠한가?
• RQ5 제안된 방법이 비가역적 또는 이산 입력 커널을 포함한 다양한 확률 모델 및 이산 매개변수에 대한 커널과 호환되는가?

주요 결과

• 확률적 재정의를 통해 이산 및 혼합 공간에서 기울기 기반 최적화가 가능해져, 기존 기울기 방법이 이산 변수와 호환되지 않는 문제를 해결한다.
• 이 방법은 확률적 목표 함수의 정류점으로 수렴함을 증명할 수 있으며, 충분한 반복 횟수와 시작점이 제공되면 원래 획득 함수의 전역 최대화자를 회복한다.
• 경험적 결과로 PR은 용접 보 설계 및 화학 반응 수율 최적화를 포함한 다양한 실제 문제에서 최고 수준의 최적화 성능을 달성한다.
• PR은 벽 시계 시간 측면에서는 느리지만, 로그 오차 측면에서 진화 알고리즘 PortfolioDiscreteOnePlusOne를 크게 능가한다.
• 이 방법은 이산 매개변수에 대한 커널 선택에 민감하지 않으며, 분류형, 임베딩 기반, 원-핫 인코딩 커널을 모두 지원하여 광범위하게 적용 가능하다.
• Adam과 몬테카를로 기울기 추정기를 사용한 확률적 최적화가 학습률 감소를 적용한 확률적 기울기 상승과 비교해 일관되게 뛰어난 성능을 보였다.