[논문 리뷰] The Behavior and Convergence of Local Bayesian Optimization

Kaiwen Wu, Kyurae Kim외 2명|arXiv (Cornell University)|2023. 05. 24.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 국소 베이지안 최적화의 첫 번째 엄밀한 이론적 분석을 제공하며, GIBO 알고리즘에 초점을 맞춘다. 기울기 불확실성의 경계를 통해 노이즈가 없는 경우와 노이즈가 있는 경우의 수렴 속도를 확립하여, 고차원에서도 다항식적 샘플 복잡도로 빠른 수렴을 달성하는 국소 BO의 성능을 보여준다.

ABSTRACT

A recent development in Bayesian optimization is the use of local optimization strategies, which can deliver strong empirical performance on high-dimensional problems compared to traditional global strategies. The "folk wisdom" in the literature is that the focus on local optimization sidesteps the curse of dimensionality; however, little is known concretely about the expected behavior or convergence of Bayesian local optimization routines. We first study the behavior of the local approach, and find that the statistics of individual local solutions of Gaussian process sample paths are surprisingly good compared to what we would expect to recover from global methods. We then present the first rigorous analysis of such a Bayesian local optimization algorithm recently proposed by Müller et al. (2021), and derive convergence rates in both the noisy and noiseless settings.

연구 동기 및 목표

• 국소 베이지안 최적화의 행동과 수렴을 공식적으로 분석함으로써, 강력한 경험적 성능를 보이지만 이론적 기반은 부족한 문제를 해결한다.
• 차원의 극복 문제로 인해 고차원 문제에서 국소 BO가 잘 작동하는 이유를 이해하는 데 격차가 있음을 해결한다.
• 글로벌 BO에서 사용하는 표준 GP 가정 하에 국소 BO 알고리즘(GIBO)에 대한 이론적 보장을 제공한다.
• 국소 최적화에서 노이즈와 배치 크기의 수렴 속도에 미치는 영향을 정량화한다.
• 일반적인 GP 샘플 경로에서 국소 BO가 찾는 개별 국소 해의 품질을 평가한다.

제안 방법

• 활동적 기울기 학습을 통해 국소 영역에 집중하는 가우시안 프로세스 기반 반복 베이지안 최적화(GIBO) 알고리즘을 사용한다.
• GP 회귀의 사후 분산에 대한 새로운 분석을 통해 기울기 추정의 불확실성에 대한 상한을 유도한다.
• 기울기 불확실성 경계를 기울기 추정의 편향과 연관지켜, 노이즈가 없는 경우와 노이즈가 있는 경우의 수렴 속도를 유도한다.
• 수렴 오차를 최소화하기 위해 다항식 및 로그 성장률을 최적화함으로써 배치 크기 선택을 분석한다.
• 다양한 차원과 노이즈 수준에서 GP 샘플 경로에 대해 수정된 GIBO 변종의 성능을 경험적으로 평가한다.
• 이론적 경계를 사용하여 상한이 실제 불확실성 감소와 비교했을 때 얼마나 느슨한지 평가한다.

Figure 1 : The unreasonable effectiveness of locally optimizing GP sample paths. (Top row): Distributions of local solutions found when locally optimizing GP sample paths in various numbers of dimensions, with varying amounts of noise. (Bottom left): The minimum sample complexity of grid search requ

실험 결과

연구 질문

• RQ1 국소 베이지안 최적화는 일반적인 고차원 GP 샘플 경로에서 얼마나 좋은 국소 해를 찾는가?
• RQ2 표준 GP 가정 하에 국소 베이지안 최적화 알고리즘에 대해 이론적 수렴 보장을 제공할 수 있는가?
• RQ3 노이즈는 국소 BO의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 배치 크기 선택은 국소 BO의 수렴 속도에 어떻게 영향을 미치는가?
• RQ5 국소 최적화 동안 기울기 추정의 불확실성은 어떻게 변화하며, 이론적 경계는 얼마나 날카로운가?

주요 결과

• 국소 베이지안 최적화는 고차원 GP 샘플 경로에서 놀라울 정도로 우수한 해를 찾으며, 중앙값 목표치는 샘플 수가 지수적으로 더 큰 격자 검색의 결과와 동일하다.
• 최적의 배치 크기 $b_t = d t^2$ 하에서 노이즈가 없는 경우의 수렴 속도는 $\mathcal{O}(n^{-1/3})$로, 이러한 설정에서 알려진 가장 빠른 속도이다.
• 노이즈가 있는 경우의 수렴 속도는 $\mathcal{O}(\sigma d^{4/3} n^{-1/3} \log^2 n)$로, 노이즈가 샘플 복잡도를 증가시키지만 여전히 빠른 수렴을 가능하게 한다.
• 실제로 기울기 불확실성에 대한 이론적 경계는 느슨한 편이지만, 경험적 불확실성 감소는 상한을 크게 초월한다.
• 배치 크기 $b_t = d+1$일 때, 알고리즘은 $\min_t \|\nabla f(x_t)\|^2 \leq \frac{2L(f(x_1) - f^*)}{T}$를 만족하여 이상적인 조건에서 빠른 수렴을 달성한다.
• ReLU 함수는 하위도함수 추정을 통해 성공적으로 처리되었으며, 사후 평균 기울기는 항상 하위도함수 $[0,1]$ 내에 존재했다.

(a) fixed dimension, varying batch sizes