[논문 리뷰] Tight Regret Bounds for Bayesian Optimization in One Dimension

Jonathan Scarlett|arXiv (Cornell University)|2018. 05. 30.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 8

한 줄 요약

이 논문은 가우시안 프로세스 사전분포와 가우시안 노이즈 하에서 1차원 베이지안 최적화에 대해 날카운 감소한 누적 오차 경계를 확립한다. 미묘한 커널 가정 하에 최적의 누적 오차가 $\Omega(\sqrt{T})$와 $O(\sqrt{T\log T})$의 척도를 가진다는 것을 증명한다. 기존의 상한 경계가 제곱 지수 커널에 대해서는 거의 최적임을 보이고, $\nu > 2$인 마터니 커널에 대해서는 최적보다 열등함을 밝혀내어, 노이즈가 있는 베이지안 최적화 이론적 이해의 핵심 격차를 해결한다.

ABSTRACT

We consider the problem of Bayesian optimization (BO) in one dimension, under a Gaussian process prior and Gaussian sampling noise. We provide a theoretical analysis showing that, under fairly mild technical assumptions on the kernel, the best possible cumulative regret up to time $T$ behaves as $Ω(\sqrt{T})$ and $O(\sqrt{T\log T})$. This gives a tight characterization up to a $\sqrt{\log T}$ factor, and includes the first non-trivial lower bound for noisy BO. Our assumptions are satisfied, for example, by the squared exponential and Matérn-$ν$ kernels, with the latter requiring $ν> 2$. Our results certify the near-optimality of existing bounds (Srinivas {\em et al.}, 2009) for the SE kernel, while proving them to be strictly suboptimal for the Matérn kernel with $ν> 2$.

연구 동기 및 목표

• 1차원에서의 알고리즘 독립적 하한 경계를 통해 베이지안 최적화의 이론적 격차를 메우기.
• 정보 이득 기반 기존 상한 경계가 최적의 오차 척도와 얼마나 가까운지 판단하기.
• 커널에 대한 미묘한 기술적 가정 하에서 노이즈가 있는 베이지안 최적화의 근본적 한계를 규명하기.
• 오차 척도 측면에서 비베이지안 대비 베이지안 최적화의 상대적 어려움을 명확히 하기.

제안 방법

• 적응적 샘플링을 위한 이진 가설 검정에 Fano의 부등식을 사용하여 누적 오차에 대한 하한을 유도한다.
• 불확실성을 모델링하고 커널의 매끄러움을 활용하기 위해 국소적 편향이 작은 쌍의 경쟁 함수를 구성한다.
• 단일 차원에서의 무작위 이동을 통해 최소최대 추정 문제를 만들고, 커널의 성질을 활용하여 상호정보량을 경계한다.
• 마르코프 부등식과 농도 분석을 적용하여 오차와 진짜 함수를 잘못 식별할 확률을 연결한다.
• 상한과 하한을 조합하여 $\sqrt{\log T}$ 요소를 제외한 날카운 특성화를 보이며, 주요 양상으로 최대 정보 이득 $\gamma_T$를 사용한다.
• 기존 가정 하에 함수 값과 노이즈 있는 샘플 간의 상호정보량이 $O(\sqrt{T})$로 척도가 잡힌다는 것을 보여줌으로써 하한 경계를 검증한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 사전분포와 가우시안 노이즈 하에서 1차원 베이지안 최적화에 대해 누적 오차의 근본적인 하한은 무엇인가?
• RQ2 정보 이득 기반 기존 상한 경계는 다양한 커널 클래스에 대해 최적의 오차 척도와 어떻게 비교되는가?
• RQ3 제곱 지수 커널에 대한 표준 상한 경계는 거의 최적이며, 향상시킬 수 있는가?
• RQ4 노이즈가 있는 베이지안 최적화 설정은 비베이지안 RKHS 대비 증명적으로 더 쉽거나 더 어려운가?
• RQ5 1차원 오차 경계에 사용된 기법을 고차원으로 확장할 수 있으며, $T$와 $d$에 대한 날카운 공동 의존성을 확보할 수 있는가?

주요 결과

• 커널에 대한 미묘한 기술적 가정 하에 1차원 베이지안 최적화의 최선의 누적 오차 척도는 $\Omega(\sqrt{T})$이다.
• 상한 경계로 $O(\sqrt{T\log T})$를 확립하여 하한 경계와 $\sqrt{\log T}$ 요소를 제외하고 일치시키며, 날카운 특성화를 이룬다.
• 제곱 지수 커널에 대해서는 Srinivas 등(2010)이 제시한 기존 상한 경계가 거의 최적임을 입증한다.
• 마터니-$\nu$ 커널에 대해 $\nu > 2$일 경우 기존 상한 경계는 엄격히 비최적임을 보이며, 향상 여지가 있음을 시사한다.
• Fano의 부등식과 국소적 편향이 있는 정밀하게 구성된 함수 쌍을 사용하여 하한 경계를 도출하였으며, 적응적 샘플링의 한계를 입증한다.
• 결과적으로 정보 이득 $\gamma_T$는 항상 최적의 오차 척도를 포괄하지 못하며, 특히 더 매끄럽지 않은 커널에 대해서는 그렇지 않음을 시사한다.