[논문 리뷰] Regret Bounds for Deterministic Gaussian Process Bandits

Nando de Freitas, Alexander J. Smola외 1명|arXiv (Cornell University)|2012. 03. 09.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 5

한 줄 요약

이 논문은 정규 조건 하에서 결정론적 가우시안 프로세스 밴딧에 대해 지수적 손실 수렴을 달성하는 브랜치 앤 바운드 알고리즘을 제안한다. 손실 수렴 속도는 $Ó(e^{-\frac{\tau t}{(\ln t)^{d/4}}})$이다. 관측 노이즈가 없는 경우, $O(1/\sqrt{t})$ 손실를 갖는 노이즈 있는 경우와는 달리, 결정론적 설정에서는 비최적 영역을 신속히 제거할 수 있어 누적 손실가 유한하고 전역 최적점으로의 수렴 속도가 빠르다.

ABSTRACT

This paper analyses the problem of Gaussian process (GP) bandits with deterministic observations. The analysis uses a branch and bound algorithm that is related to the UCB algorithm of (Srinivas et al., 2010). For GPs with Gaussian observation noise, with variance strictly greater than zero, (Srinivas et al., 2010) proved that the regret vanishes at the approximate rate of $O(\frac{1}{\sqrt{t}})$, where t is the number of observations. To complement their result, we attack the deterministic case and attain a much faster exponential convergence rate. Under some regularity assumptions, we show that the regret decreases asymptotically according to $O(e^{-\frac{τt}{(\ln t)^{d/4}}})$ with high probability. Here, d is the dimension of the search space and $τ$ is a constant that depends on the behaviour of the objective function near its global maximum.

연구 동기 및 목표

• 관측 노이즈가 없는 가우시안 프로세스 사전분포를 사용한 결정론적 함수의 전역 최적화 문제를 해결하기 위해.
• 관측 노이즈가 있는 경우와 대비하여 결정론적 GP 밴딧의 손실 분석 격차를 메우기 위해.
• 후행 분포의 불확실성과 함수의 매끄러움을 활용하여 수렴 속도를 가속화하는 브랜치 앤 바운드 알고리즘을 개발하기 위해.
• 노이즈가 없는 설정의 통계적 효율성이 반영된 이론적 손실 한계를 설정하기 위해.

제안 방법

• UCB 알고리즘을 수정하여 브랜치 앤 바운드를 통해 점차 줄어드는 탐색 공간을 활용하고, GP 후행 평균과 분산을 기반으로 선택을 유도한다.
• 전역 최대값 근처에서 정밀한 샘플링을 보장하기 위해 탐색 공간 $\mathcal{D}$ 를 격자 기반으로 이산화한다.
• 수렴 속도를 보장하기 위해 목적 함수에 매끄러움과 최대값에서 비특이 행렬이 되는 헤시안 행렬 조건을 도입한다.
• 노이즈가 없기 때문에 탐색과 이용의 균형을 맞추기 위해 $B$를 선택한 형태의 신뢰구간 $\mu + B\sigma$ 를 적용한다.
• 상한 신뢰구간에 기반한 점차 줄어드는 탐색 영역을 활용하여, 최대값이 존재할 가능성이 낮은 영역을 제거한다.
• 이론적 분석을 지원하기 위해 거의 확실히 두 번 미분 가능한 성질을 보장하는 마테른 및 제곱 지수 커널을 사용한다.

실험 결과

연구 질문

• RQ1 결정론적 GP 밴딧에서 지수적 손실 수렴을 달성할 수 있으며, 만약 가능하면 어떤 조건에서 이루어지는가?
• RQ2 관측 노이즈가 없는 경우, 노이즈가 있는 경우와 비교해 수렴 속도에 어떤 영향을 미치는가?
• RQ3 전역 최대값 근처에서 목적 함수의 매끄러움이 손실 속도에 어떤 역할을 하는가?
• RQ4 노이즈 없는 설정에서 GP 기반의 신뢰구간을 사용해 탐색 공간을 효과적으로 잘라낼 수 있는가?
• RQ5 커널 선택(예: 마테른, 제곱 지수)이 수렴 속도와 이론적 보장에 어떤 영향을 미치는가?

주요 결과

• 손실는 고도로 확률적으로 지수적 속도 $\mathcal{O}\left(e^{-\frac{\tau t}{(\ln t)^{d/4}}}\right)$ 로 감소하며, $\tau$ 는 전역 최대값 근처에서의 함수 행동에 따라 달라진다.
• 누적 손실는 상한선이 존재하며, 표준 UCB를 사용하는 노이즈 있는 GP 밴딧에서 관찰되는 무한한 누적 손실와 대비된다.
• 노이즈가 없기 때문에 탐색 공간의 큰 부분을 제거할 수 있어 전역 최적점으로의 빠른 국소화가 가능하며, 이로 인해 지수적 수렴이 가능해진다.
• 함수의 거의 확실히 두 번 미분 가능하고 최대값에서 헤시안 행렬의 고유값이 0이 아닌 조건이 도입된 정규 조건 하에서 결과가 성립한다.
• 수렴 속도는 격자 이산화 $\mathcal{L}$ 에 영향을 받지 않지만, 최대값 근처의 이웃 영역을 샘플링할 수 있도록 충분히 미세한 격자여야 한다.
• 표준 UCB보다 뚜렷한 성능 향상을 보이며, 노이즈가 있는 경우 지속적인 먼 영역 탐색으로 인해 누적 손실이 무한히 증가하는 문제를 악용하지 않는다.