[논문 리뷰] Think Global and Act Local: Bayesian Optimisation over High-Dimensional Categorical and Mixed Search Spaces

Xingchen Wan, Loc Nguyen외 4명|arXiv (Cornell University)|2021. 02. 14.

Advanced Bandit Algorithms Research참고 문헌 47인용 수 14

한 줄 요약

이 논문은 고차원 이산 및 혼합 변수 공간에서 효과적인 베이지안 최적화를 위해 국소 신뢰 영역과 특화된 커널을 조합한 Casmopolitan을 제안한다. 이는 이론적 수렴 보장과 기존 기준보다 뛰어난 샘플 효율성을 확보하며, 최첨단 성능을 달성한다.

ABSTRACT

High-dimensional black-box optimisation remains an important yet notoriously challenging problem. Despite the success of Bayesian optimisation methods on continuous domains, domains that are categorical, or that mix continuous and categorical variables, remain challenging. We propose a novel solution -- we combine local optimisation with a tailored kernel design, effectively handling high-dimensional categorical and mixed search spaces, whilst retaining sample efficiency. We further derive convergence guarantee for the proposed approach. Finally, we demonstrate empirically that our method outperforms the current baselines on a variety of synthetic and real-world tasks in terms of performance, computational costs, or both.

연구 동기 및 목표

• 표준 가우시안 프로세스 방법이 차원의 압박과 비연속적인 구조로 인해 실패하는 고차원의 카테고리형 및 혼합 변수 검색 공간에서의 블랙박스 최적화 문제를 해결하기 위해.
• 원-핫 인코딩과 표준 커널의 한계를 극복하기 위해, 이는 차원의 압박을 악화시키고 카테고리 구조를 효과적으로 모델링하지 못함.
• 표현력은 유지하면서 고차원 문제로도 확장 가능한 샘플 효율적이고 전역 수렴 가능한 베이지안 최적화 프레임워크를 개발하기 위해.
• 기존 연구에서 누락된 카테고리형 및 혼합 변수 공간에서의 최적화에 대한 이론적 수렴 보장을 제공하기 위해.

제안 방법

• 카테고리형 및 혼합 변수 공간에 특화된 새로운 커널 설계를 도입하여 고차원 이산 영역에서 효과적인 가우시안 프로세스 회귀를 가능하게 한다.
• 국소 신뢰 영역 전략을 적용하여 현재 최고 성능 지점 주변의 이웃 영역에 국한하여 최적화를 수행함으로써 샘플 효율성을 향상시키고 과도한 탐색을 방지한다.
• 카테고리형 및 연속 변수의 구조를 고려한 혼합 커널을 사용하는 가우시안 프로세스 기반의 서로서브 모델을 활용한다.
• 지역 최적화를 통한 재시작 메커니즘을 적용하여 나쁜 局부 최적해에서 벗어나 전역 최대값으로 수렴하도록 한다.
• 핵심 점에서 목적 함수와 일치하는 함수가 재생 커널 힐버트 공간(RKHS)에 존재한다고 가정함으로써 이론적 수렴을 도출하고, 리그레트 한계를 유도한다.
• 정보 수익률 한계와 사후 분산 제어를 활용하여 온건한 가정 하에 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 베이지안 최적화 프레임워크는 고차원 카테고리형 및 혼합 변수 공간에서 전역 수렴을 달성할 수 있는가?
• RQ2 가우시안 프로세스 서로서브 모델은 카테고리 변수의 비연속적이고 순서 없는 성격을 효과적으로 다룰 수 있는가?
• RQ3 국소 신뢰 영역은 전역 탐색을 희생시키지 않고 고차원 이산 최적화에서 샘플 효율성과 수렴을 향상시킬 수 있는가?
• RQ4 비연속적이고 다수의 국소 최적해를 가진 목적 함수가 있는 혼합 카테고리-연속 공간에서 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 기존 기준 대비 샘플 효율성과 계산 비용 측면에서 제안된 방법은 경험적으로 어떻게 비교되는가?

주요 결과

• 제안된 방법인 Casmopolitan은 고차원 카테고리형 및 혼합 변수 최적화를 포함한 합성 및 실제 작업에서 최첨단 성능을 달성한다.
• Casmopolitan은 기존 기준 대비 더 적은 함수 평가 수로 최적 해에 도달하는 데 뛰어난 샘플 효율성을 보여준다.
• 온건한 가정 하에 전역 최대값으로 수렴하며, 정보 수익률과 사후 분산 제어를 활용한 이론적 리그레트 한계가 도출된다.
• 경험적 결과는 Casmopolitan이 다양한 벤치마크 작업에서 성능과 계산 비용 측면에서 기존 방법을 모두 능가함을 보여준다.
• 수렴 분석은 순수 카테고리형 및 혼합 변수 설정 모두에 적용 가능하며, 이러한 도전적인 영역에 대해 베이지안 최적화의 이론적 기반을 확장한다.