[논문 리뷰] Bayesian Optimization with Exponential Convergence

Kenji Kawaguchi, Leslie Pack Kaelbling외 1명|arXiv (Cornell University)|2016. 04. 05.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 80

한 줄 요약

이 논문은 보조 전역 최적화나 $\delta$-커버 샘플링이 필요 없이도 지수적 수렴을 달성하는 새로운 가우시안 프로세스 기반 베이지안 최적화 알고리즘을 제안한다. 이는 이전 방법에서 주요 실용적 장벽이었던 두 가지 문제를 해결한다. 재귀적 분할 절차를 도입하고 리프시츠 유사 정규성 가정을 활용함으로써, 함수 평가 횟수에 비례해 손실이 지수적으로 감소함을 보장하며, $\lambda < 1$ 조건 하에 $O(\lambda^{N+N_{gp}})$의 형태로 수렴한다. 이는 이론적으로 강력한 보장을 제공하면서도 실질적으로 계산 가능성을 유지한다.

ABSTRACT

This paper presents a Bayesian optimization method with exponential convergence without the need of auxiliary optimization and without the delta-cover sampling. Most Bayesian optimization methods require auxiliary optimization: an additional non-convex global optimization problem, which can be time-consuming and hard to implement in practice. Also, the existing Bayesian optimization method with exponential convergence requires access to the delta-cover sampling, which was considered to be impractical. Our approach eliminates both requirements and achieves an exponential convergence rate.

연구 동기 및 목표

• 보조 전역 최적화의 계산 부담을 피하는 지수적 수렴을 보장하는 베이지안 최적화 방법을 개발하기 위해.
• 기존의 지수적 수렴 방법에서 비현실적인 $\delta$-커버 샘플링 절차에 의존하지 않도록 제거하기 위해.
• 고차원 블랙박스 최적화에서 실현 가능하게 유지하면서도 강력한 이론적 손실 경계를 확보하기 위해.
• 최소한의 가정 하에, $d=0$ 이며 알려진 리프시츠 상수가 필요 없더라도 $O(\lambda^{N+N_{gp}})$의 수렴 속도를 확립하기 위해.

제안 방법

• 알고리즘 1에서 함수 값 추정치와 불확실성에 기반해 검색 공간을 분할하는 재귀적 하이퍼직육면체 분할 절차를 도입한다.
• 상위 신뢰도 기반의 수정된 할당 함수를 사용하며, 신뢰 폭을 $\varsigma\sigma(x|\mathcal{D}_N)$로 스케일링하지만, 재귀적 분할에 적응시킨다.
• 각 수준 $h$에서의 하이퍼직육면체 내 최대 함수 값 차이를 제한하는 수열 $\delta(h)$를 정의하여 국소적 정규성을 확보한다.
• 체적 기반 기준을 사용하여 $\ell$-구를 이용해 $\delta(h)$-최적 집합에 포함될 수 있는 서로소 영역의 수를 제한함으로써 불확실성의 증가를 통제한다.
• $\bar{\rho}_t$를 포함하는 재귀 부등식을 통해 손실 경계를 유도하며, 이는 함수의 정규성에 비례한 샘플 포인트의 효과적 밀도를 캡처한다.
• 스푸르 컴플리먼트와 가우시안 프로세스 사후 분포 업데이트를 적용하여 예측 평균 $\mu(x|\mathcal{D}_N)$과 분산 $\sigma^2(x|\mathcal{D}_N)$을 닫힌 형태로 계산한다.

실험 결과

연구 질문

• RQ1 보조 전역 최적화나 $\delta$-커버 샘플링 없이도 베이지안 최적화에서 지수적 수렴을 달성할 수 있는가?
• RQ2 예를 들어 $d=0$ 이며 알려진 리프시츠 상수가 없을 경우에도 강력한 이론적 손실 경계를 유지할 수 있는가?
• RQ3 재귀적 공간 분할은 계산 비용이 높은 샘플링 절차를 피하면서도 어떻게 빠른 수렴을 보장할 수 있는가?
• RQ4 함수의 정규성 조건과 알고리즘의 샘플링 전략에 어떤 조건이 지수적 손실 감소를 이끌어내는가?

주요 결과

• 제안된 알고리즘은 보조 최적화나 $\delta$-커버 샘플링 없이도 $\lambda < 1$ 조건 하에 $O(\lambda^{N+N_{gp}})$ 형태의 지수적 손실 감소를 달성한다.
• 손실 경계는 가정 1과 2만을 기반으로 유도되었으며, 가정 3, 4, 5를 요구하지 않으며 $d>0$를 가정하지도 않는다.
• 함수의 정규성 조건을 충족시키기 위해 $\delta(h)$를 구성함으로써 모든 지수적 수렴 조건을 만족한다. 특히 $\delta(h) = L3^{\alpha}D^{\alpha/p}3^{-h\alpha/D}\beta^{\alpha}$로 정의되어 $d=0$을 보장한다.
• $\delta(h)$-최적 집합에 포함될 수 있는 반지름 $\nu\delta(h)$인 서로소 $\ell$-구의 수는 $\lceil(\theta\nu)^{-D}\rceil$ 이하로 유계이며, $\delta(h)$에 독립적이다. 이는 $d=0$을 의미한다.
• 최종 손실 경계는 $r_N \leq L(3\beta D^{1/p})^{\alpha}\exp\left(-\alpha\left[\frac{N+N_{gp}}{2C\bar{\rho}_tD}-\Xi_n-2\right]\ln 3\right)$ 로 유도되며, 이는 지수적 감소를 확인한다.