[논문 리뷰] Vanilla Bayesian Optimization Performs Great in High Dimensions

Carl Hvarfner, Erik Orm Hellsten외 1명|arXiv (Cornell University)|2024. 02. 03.

Data Visualization and Analytics인용 수 7

한 줄 요약

본 논문은 차원성에 따라 가우시안 프로세스 길이척도 priors를 스케일링함으로써 일반적인 베이지안 최적화가 다수의 작업에서 최첨단의 고차원 BO 방법과 경쟁력 있게 또는 더 나은 성능을 보일 수 있음을 보여준다.

ABSTRACT

High-dimensional problems have long been considered the Achilles' heel of Bayesian optimization algorithms. Spurred by the curse of dimensionality, a large collection of algorithms aim to make it more performant in this setting, commonly by imposing various simplifying assumptions on the objective. In this paper, we identify the degeneracies that make vanilla Bayesian optimization poorly suited to high-dimensional tasks, and further show how existing algorithms address these degeneracies through the lens of lowering the model complexity. Moreover, we propose an enhancement to the prior assumptions that are typical to vanilla Bayesian optimization algorithms, which reduces the complexity to manageable levels without imposing structural restrictions on the objective. Our modification - a simple scaling of the Gaussian process lengthscale prior with the dimensionality - reveals that standard Bayesian optimization works drastically better than previously thought in high dimensions, clearly outperforming existing state-of-the-art algorithms on multiple commonly considered real-world high-dimensional tasks.

연구 동기 및 목표

• 차원성만이 아니라 모델 복잡도가 고차원 BO를 저해하는 방식에 대해 명확히 밝힌다.
• 고차원에서 발생하는 바닐라 BO의 축퇴 현상을 식별한다.
• 사전 스케일 수정으로 확장 가능하고 간단한 바닐라 BO를 제안한다.
• 실세계 작업에서 수정된 바닐라 BO를 최첨단 고차원 BO 방법과 실험적으로 비교 검증한다.

제안 방법

• 고차원 BO 성능을 분석하기 위해 모델 복잡도와 MIG(Maximal Information Gain)를 사용한다.
• ARD 길이척도, EI 기반 획득, MAP 하이퍼파라미터를 사용하는 표준 GP를 바닐라 BO로 정의한다.
• 길이척도를 스케일링하지 않으면 차원이 증가함에 따라 문제 복잡도가 증가한다는 것을 보인다.
• 목적 구조를 강제하지 않으면서 복잡도를 관리하기 위해 차원에 맞춰 길이척도 사전분포를 스케일링하는 것을 제안한다.
• 신호 분산을 고정하여 인식적 불확실성을 안정화시키고 하이퍼파라미터를 보정한다.
• 합성 및 실제 작업에서 제안된 스케일링 여부에 따른 바닐라 BO를 여러 고차원 기준선들과 실험적으로 비교한다.

실험 결과

연구 질문

• RQ1 MIG로 포착된 모델 복잡도가 고차원에서 BO 성능에 어떤 영향을 미치는가?
• RQ2 구조적 가정 없이도 GP 길이척도 사전분포에 대한 간단한 수정으로 효과적인 고차원 BO를 가능하게 할 수 있는가?

주요 결과

• 길이척도 스케일링을 적용한 바닐라 BO는 의미 있는 상관관계를 유지하고 고차원성으로 인한 축퇴를 피한다.
• 제안된 접근법은 광범위한 실세계 작업에서 기존의 고차원 BO 알고리즘보다 상당히 우수하다.
• 정보가 없는 모델에서의 EI가 반드시 경계를 탐색하는 것은 아니며, 그 동작은 모델 상관관계와 incumbent에 의해 좌우된다.
• 차원에 따라 길이척도 사전분포를 스케일링하면 MIG 증가가 감소하여 복잡도 곡선이 특수화된 HDBO 방법과 유사하게 완만해진다.
• 이 수정은 하이퍼파라미터를 추가하지 않으며 MAP 기반 BO 구성과 부합한다.