[논문 리뷰] Convergence rates of efficient global optimization algorithms

Adam D. Bull|arXiv (Cornell University)|2011. 01. 18.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 299

한 줄 요약

이 논문은 효율적 글로벌 최적화에서 기대 향상 알고리즘의 수렴 속도를 확립하며, 고정된 가우시안 프로세스 사전분포를 가질 경우 수렴 속도가 $ O^*(n^{-(\nu \wedge 1)/d}) $임을 보이고, 수정된 알고리즘은 근사 최적의 속도 $ O^*(n^{-\nu/d}) $를 달성함을 보여준다. 또한 표준 순차적 사전분포 추정이 수렴을 방해할 수 있음을 증명하며, 순차적 학습 상황에서도 최적의 수렴 속도를 유지하는 개선된 추정기들을 제안한다.

ABSTRACT

Efficient global optimization is the problem of minimizing an unknown function f, using as few evaluations f(x) as possible. It can be considered as a continuum-armed bandit problem, with noiseless data and simple regret. Expected improvement is perhaps the most popular method for solving this problem; the algorithm performs well in experiments, but little is known about its theoretical properties. Implementing expected improvement requires a choice of Gaussian process prior, which determines an associated space of functions, its reproducing-kernel Hilbert space (RKHS). When the prior is fixed, expected improvement is known to converge on the minimum of any function in the RKHS. We begin by providing convergence rates for this procedure. The rates are optimal for functions of low smoothness, and we modify the algorithm to attain optimal rates for smoother functions. For practitioners, however, these results are somewhat misleading. Priors are typically not held fixed, but depend on parameters estimated from the data. For standard estimators, we show this procedure may never discover the minimum of f. We then propose alternative estimators, chosen to minimize the constants in the rate of convergence, and show these estimators retain the convergence rates of a fixed prior.

연구 동기 및 목표

• 고정된 가우시안 프로세스 사전분포 하에서 효율적 글로벌 최적화의 기대 향상 알고리즘에 대한 이론적 수렴 속도를 확립하기 위해.
• 순차적으로 추정된 사전분포의 영향을 분석하여, 표준 추정기들이 진정한 최소값으로의 수렴을 방해할 수 있음을 보여주기 위해.
• 순차적 학습 상황에서도 최적의 수렴 속도를 유지하는 대체 추정기들을 제안하기 위해.
• 알 수 없는 함수의 부드러움을 고려한 베이지안 최적화에서 이론적 보장과 실용적 구현 간 격차를 메우기 위해.
• 노이즈가 없는 고비용 함수 최소화 문제에서 탐색과 이용의 상호작용을 철저히 분석하기 위해.

제안 방법

• 고정된 가우시안 프로세스 사전분포와 관련된 함수 공간을 특성화하기 위해 재생 커널 힐버트 공간(RKHS) 이론을 사용하여 기대 향상(EI)을 고비용 함수 최소화를 위한 베이지안 최적화 전략으로 분석한다.
• 메쉬 노름과 커버링 추론를 사용하여 사후 분산과 기대 향상의 상한을 구하여 EI의 수렴 속도를 유도한다.
• 부드러움이 $ \nu $인 부드러운 함수에 대해 근사 최적의 수렴 속도 $ O^*(n^{-\nu/d}) $를 달성하는 수정된 EI 알고리즘을 도입한다.
• 집중 불등식(체르노프 경계)과 메시 기반 기법을 사용하여 열악한 설계점 커버리지 확률을 통제한다.
• 수렴 속도 상수를 최소화하는 하이퍼파rameter(예: 길이 척도, 분산)를 위한 새로운 추정기들을 제안하여 순차적 학습 상황에서도 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 고정된 가우시안 프로세스 사전분포 하에서 기대 향상 알고리즘의 수렴 속도는 무엇인가?
• RQ2 더 부드러운 함수에 대해 수정된 기대 향상 알고리즘이 근사 최적의 수렴 속도를 달성할 수 있는가?
• RQ3 사전분포 하이퍼파ram터의 순차적 추정이 전역 최소값으로의 수렴을 저해하는가?
• RQ4 순차적 학습 상황에서도 최적의 수렴 속도를 유지하는 대체 추정기들을 구성할 수 있는가?
• RQ5 메쉬 노름과 커버링 수는 기대 향상 알고리즘의 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• 부드러움이 $ \nu $인 고정된 가우시안 프로세스 사전분포 하에서, 모든 $ f $에 대해 RKHS에 속하는 함수에 대해 기대 향상 알고리즘은 수렴 속도 $ O^*(n^{-(\nu \wedge 1)/d}) $로 전역 최소값으로 수렴한다.
• 수정된 기대 향상 알고리즘은 부드러운 함수에 대해 근사 최적의 수렴 속도 $ O^*(n^{-\nu/d}) $를 달성하며, 이는 로그 인자 외에는 이론적 하한선과 일치한다.
• 표준 순차적 사전분포 하이퍼파ram터 추정기들은 사후 분산 제어가 불량하여, 부드러운 함수일지라도 수렴을 방해할 수 있다.
• 제안된 대체 추정기들은 하이퍼파라미터가 데이터로부터 학습되더라도 여전히 수렴 속도가 $ O^*(n^{-(\nu \wedge 1)/d}) $로 유지되며, 고정 사전분포 사례와 동일한 수렴 속도를 확보한다.
• 분석 결과, 메쉬 노름 $ h_n $(가장 가까운 설계점까지의 최대 거리)는 고확률적으로 $ O((n/\log n)^{-1/d}) $ 속도로 감소함을 보여준다.
• 수렴 속도는 유한한 노름을 가진 RKHS의 모든 함수 $ f $에 대해 균일하며, 특정 $ f $의 실현값과 무관하게 독립적이므로 강건성이 보장된다.