[논문 리뷰] High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces

David Eriksson, Martin Jankowiak|arXiv (Cornell University)|2021. 02. 27.

Advanced Multi-Objective Optimization Algorithms참고 문헌 30인용 수 41

한 줄 요약

SAASBO는 GP 길이 스케일에 대해 희소성을 유도하는 prior를 도입하여 축 정렬된 희소 구간을 식별하고, NUTS를 이용한 추론으로 수백 차원의 샘플 효율적 베이지안 최적화를 가능하게 한다. 문제 특정 하이퍼파라미터 없이 합성 및 실제 문제에서 기준선보다 우수한 성능을 보인다.

ABSTRACT

Bayesian optimization (BO) is a powerful paradigm for efficient optimization of black-box objective functions. High-dimensional BO presents a particular challenge, in part because the curse of dimensionality makes it difficult to define -- as well as do inference over -- a suitable class of surrogate models. We argue that Gaussian process surrogate models defined on sparse axis-aligned subspaces offer an attractive compromise between flexibility and parsimony. We demonstrate that our approach, which relies on Hamiltonian Monte Carlo for inference, can rapidly identify sparse subspaces relevant to modeling the unknown objective function, enabling sample-efficient high-dimensional BO. In an extensive suite of experiments comparing to existing methods for high-dimensional BO we demonstrate that our algorithm, Sparse Axis-Aligned Subspace BO (SAASBO), achieves excellent performance on several synthetic and real-world problems without the need to set problem-specific hyperparameters.

연구 동기 및 목표

• 제한된 평가로 고차원 설정에서 효율적인 베이지안 최적화의 필요성을 동기부여합니다.
• GP 커널 길이 스케일에 희소성 유도 사전분포(SAAS)를 제안하여 관련 부분공간을 식별합니다.
• SAAS-GP 대리모형을 적합하기 위한 추론 프레임워크(NUTS 및 MAP)를 개발합니다.
• 획득을 안내하기 위해 EI를 사용하고 데이터 세트 전반에 걸친 강건성과 확장성을 입증합니다.
• 문제 특유의 하이퍼파라미터 없이도 SAASBO가 강한 성능을 발휘함을 보여줍니다.

제안 방법

• 역제곱 길이 스케일에서 희소성을 유도하여 축 정렬된 부분공간을 선호하도록 SAAS 사전분포를 가진 가우시안 프로세스 대리모형을 정의합니다.
• 감쇠 매개변수와 길이 스케일에 대한 Half-Cauchy 사전분포를 사용하여 데이터 축적에 따라 차원을 적응적으로 켜고 끕니다.
• 커널 하이퍼파라미터를 샘플링하기 위해 No-U-Turn 샘플러(NUTS)로 추론하거나, 더 빠른 대안으로 MAP를 사용합니다.
• 하이퍼파라미터 불확실성을 다루기 위해 사후 커널 샘플에 걸쳐 평균화된 기대 개선(EI)을 이용해 획득함수를 계산합니다.
• 샘플에 걸쳐 평균화된 EI를 사용하고 그라디언트 기반 방법으로 최적화하여 전체 입력 공간에서 다음 질의 포인트를 선택합니다.

실험 결과

연구 질문

• RQ1 SAAS 사전분포가 고차원에서 함수 변동의 대부분을 포착하는 희소하고 축 정렬된 부분공간을 식별할 수 있을까요?
• RQ2 NUTS를 통한 커널 하이퍼파라미터 적분이 MAP에 비해 획득 결정과 최적화 성능을 향상시키나요?
• RQ3 합성 및 실제 문제에서 SAASBO가 최첨단 고차원 BO 기준선과 비교하여 어떤 성능을 보이나요?
• RQ4 SAASBO가 하이퍼파라미터 설정에 강건하고 수백 차원 문제로 확장 가능한가요?

주요 결과

• SAASBO는 관련 부분공간을 신뢰성 있게 식별하고 MLE 또는 약한 사전 GPs에 비해 고차원에서 더 우수한 모델 적합도를 달성합니다.
• NUTS 기반 추론이 실제 부분공간을 식별하는 데 MAP보다 우수하며 더 나은 최적화 성능을 제공합니다.
• SAASBO는 수십에서 수백 차원의 합성 벤치마크 및 실제 문제에서 문제 특유의 하이퍼파라미터 없이도 강력한 실증 성능을 보여줍니다.
• 최적화 중에 효과적 부분공간 차원이 적응적으로 증가하여 데이터가 축적될수록 점점 더 유연한 모델링을 가능하게 합니다.
• SAAS 사전은 적응적 절제성을 제공하여 관련 없은 차원을 비활성화하고 중요한 차원은 증거가 축적될수록 기여하도록 합니다.