[논문 리뷰] Computationally Efficient High-Dimensional Bayesian Optimization via Variable Selection

Yihang Shen, Carl Kingsford|arXiv (Cornell University)|2021. 09. 20.

Gaussian Processes and Bayesian Inference참고 문헌 38인용 수 4

한 줄 요약

이 논문은 임베딩 차원을 사전에 지정할 필요 없이 중요한 변수들의 축에 따라 정렬된 부분공간을 자동으로 식별하고 최적화하는 계산적으로 효율적인 베이지안 최적화 방법인 VS-BO를 제안한다. 이 방법은 합성 문제와 MOPTA08, 로버 궤도 최적화와 같은 실제 문제에서 기존 방법들보다 더 빠른 수렴 속도와 낮은 계산 비용을 달성하며 뛰어난 성능을 보인다.

ABSTRACT

Bayesian Optimization (BO) is a method for globally optimizing black-box functions. While BO has been successfully applied to many scenarios, developing effective BO algorithms that scale to functions with high-dimensional domains is still a challenge. Optimizing such functions by vanilla BO is extremely time-consuming. Alternative strategies for high-dimensional BO that are based on the idea of embedding the high-dimensional space to the one with low dimension are sensitive to the choice of the embedding dimension, which needs to be pre-specified. We develop a new computationally efficient high-dimensional BO method that exploits variable selection. Our method is able to automatically learn axis-aligned sub-spaces, i.e. spaces containing selected variables, without the demand of any pre-specified hyperparameters. We theoretically analyze the computational complexity of our algorithm and derive the regret bound. We empirically show the efficacy of our method on several synthetic and real problems.

연구 동기 및 목표

• 고차원 블랙박스 함수에 대한 베이지안 최적화의 확장성 문제를 해결하기 위해, 기존의 베이지안 최적화가 계산적으로 비현실적인 상황을 다루는 것.
• 임베딩 기반 베이지안 최적화 방법의 한계를 극복하기 위해 사전에 임베딩 차원을 지정해야 하고, 투영 오차의 위험이 있다는 점을 해결하는 것.
• 초파rameter 조정 없이 중요한 변수를 자동으로 식별하는 방법을 개발하여 계산 복잡도를 감소시키는 것.
• 비율에 따라 정렬된 부분공간을 보장하여, 임베딩 방법에서 발생할 수 있는 역행렬이 불가능한 투영 문제를 방지하는 것.
• 제안된 방법의 계산 효율성과 리그레트 성능을 이론적으로 분석하고 실증적으로 검증하는 것.

제안 방법

• 이 방법은 목적 함수에 영향을 미치는 변수의 일부분만이 중요하다고 가정하며, 입력 변수를 중요한 변수(x_ipt)와 중요하지 않은 변수(x_nipt)로 분할한다.
• 이들은 획득 함수 기울기의 정보를 활용하여 반복적으로 중요한 변수를 식별하는 가우시안 프로세스 회귀 기반의 변수 선택 전략을 적용한다.
• 알고리즘은 선택된 중요한 변수의 부분공간에서만 베이지안 최적화를 수행하여 계산 비용을 크게 감소시킨다.
• 비교를 위해 혼합 전략을 사용하는 변형(VSBO mix)을 포함한 새로운 샘플링 전략을 도입한다.
• 차원 감소를 위한 투영을 피하기 위해 축에 따라 정렬된 부분공간에 집중함으로써, 모든 쿼리가 원래 도메인 내에 유지됨을 보장한다.
• 이론적 분석을 통해 기존의 베이지안 최적화 대비 가우시안 프로세스 피팅과 획득 함수 최적화의 계산 복잡도가 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 고차원 베이지안 최적화에서 변수 선택이 임베딩 차원을 사전에 지정할 필요 없이 제거할 수 있는가?
• RQ2 중요한 변수의 자동 식별이 최적화 효율성과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 축에 따라 정렬된 부분공간 최적화가 임베딩 기반 방법보다 계산 비용과 해 품질 측면에서 뛰어나게 되는가?
• RQ4 변수 선택 정확도가 최적화 알고리즘의 리그레트와 성능에 미치는 영향은 무엇인가?
• RQ5 고정된 반복 수와 시간 예산 하에서 VS-BO는 SAASBO와 Dragonfly와 같은 최첨단 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 브레인, 하트만6, 스틸린스키-탱4와 같은 고차원 합성 함수에서 VS-BO는 기존의 베이지안 최적화와 임베딩 기반 방법보다 더 빠른 수렴 속도와 낮은 계산 비용을 기록한다.
• 60차원의 로버 궤도 문제에서, 고정된 반복 예산 하에서 VS-BO는 시간 제약 조건 하에서 뛰어난 성능을 보이는 드래곤파이어보다도 뛰어난 성능을 보였다.
• 124차원의 MOPTA08 문제에서 VS-BO는 기준 방법보다 더 나은 최적화 성능을 달성했지만, SAASBO는 더 뛰어난 성능을 보였음에도 불구하고, SAASBO는 상당히 느린 편이었다.
• VS-BO의 변수 선택 과정은 가장 영향력 있는 변수를 정확히 식별한다. 상위 5개의 변수는 변동을 가할 경우 함수 값의 분산이 뚜렷이 증가한다.
• 실증 결과에 따르면 변수 선택 빈도는 변수 중요도와 강하게 상관되어 있어, 이 방법이 관련 부분공간을 효과적으로 학습할 수 있음을 확인한다.
• VS-BO의 샘플링 전략은 혼합 전략 변형(VSBO mix)보다 일관되게 뛰어나, 제안된 선택 메커니즘이 효과적임을 입증한다.