[논문 리뷰] Exponential Regret Bounds for Gaussian Process Bandits with Deterministic Observations

Nando de Freitas, Alex Smola외 1명|arXiv (Cornell University)|2012. 06. 27.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 45

한 줄 요약

이 논문은 관측 오차가 없는 결정론적 관측 하에서 가우시안 프로세스 밴디트에 대해 지수적 잔여 bound를 수립한다. UCB를 영감으로 삼은 브랜치 앤 바운드 알고리즘을 사용하며, 정규성 조건 하에서, 높은 확률로 잔여가 $ O(e^{-\frac{\tau t}{(\text{ln}~t)^{d/4}}}) $ 로 감소함을 증명한다. 이는 관측 노이즈가 있는 경우의 $ O(1/\text{sqrt}(t)) $ 속도보다 훨씬 빠르며, 여기서 $ d $ 는 입력 차원이고 $ \tau $ 는 국소 최적점 근처의 함수 행동에 따라 결정된다.

ABSTRACT

This paper analyzes the problem of Gaussian process (GP) bandits with deterministic observations. The analysis uses a branch and bound algorithm that is related to the UCB algorithm of (Srinivas et al, 2010). For GPs with Gaussian observation noise, with variance strictly greater than zero, Srinivas et al proved that the regret vanishes at the approximate rate of $O(1/\sqrt{t})$, where t is the number of observations. To complement their result, we attack the deterministic case and attain a much faster exponential convergence rate. Under some regularity assumptions, we show that the regret decreases asymptotically according to $O(e^{-\frac{τt}{(\ln t)^{d/4}}})$ with high probability. Here, d is the dimension of the search space and tau is a constant that depends on the behaviour of the objective function near its global maximum.

연구 동기 및 목표

• 관측 노이즈가 0인 결정론적 관측 하에서 가우시안 프로세스 밴디트를 분석하는 것.
• 이전 연구에서 관측 분산이 양수임을 가정한 상태에서 생긴 이론적 간극을 메우는 것.
• 더 빠른 수렴이 기대되는 결정론적 환경에서 보다 날카로운 잔여 bound를 수립하는 것.
• 결정론성으로 인한 수렴 속도 향상을 반영하는 고확률 잔여 bound를 제공하는 것.
• 더 나은 이론적 보장을 갖는 결정론적 환경에 UCB 스타일 알고리즘 프레임워크를 확장하는 것.

제안 방법

• Srinivas 등 (2010) 의 UCB 접근 방식과 유사한 정신을 지닌 브랜치 앤 바운드 알고리즘을 GP 밴디트에 적응시킴.
• 잔여를 제어하기 위해 최대 정보 수확량을 핵심 양으로 사용하며, GP 사전 분포의 구조를 활용함.
• 관측된 GP 사후 평균이 진짜 함수에서 벗어나지 않도록 하기 위해 농도 부등식을 적용함.
• 지수적 감소율을 유도하기 위해 국소 최대값 근처의 목적 함수에 정규성 조건을 도입함.
• 시간이 지남에 따라 사후 분산의 감소를 분석함으로써 고확률 잔여 bound를 유도함.

실험 결과

연구 질문

• RQ1 관측이 노이즈가 없는 결정론적일 경우 GP 밴디트에 대해 더 날카로운 잔여 bound를 수립할 수 있는가?
• RQ2 결정론적 GP 밴디트 설정에서 최적의 잔여 감소 속도는 무엇인가?
• RQ3 목적 함수가 국소 최대값 근처에서의 행동이 수렴 속도에 어떤 영향을 미치는가?
• RQ4 UCB 스타일 알고리즘 프레임워크를 결정론적 환경에 적응시켜 지수적 잔여 bound를 달성할 수 있는가?
• RQ5 입력 공간의 차원 수가 결정론적 GP 밴디트의 수렴 속도에 어떤 역할을 하는가?

주요 결과

• 잔여가 시간에 따라 지수적으로 빠르게 감소하며, 특히 높은 확률로 $ O(e^{-\frac{\tau t}{(\text{ln}~t)^{d/4}}}) $ 로 감소한다.
• 지수 감소율은 국소 최대값 근처의 목적 함수 행동에 따라 결정되는 상수 $ \tau $ 에 의존한다.
• 관측 노이즈가 있는 경우의 $ O(1/\text{sqrt}(t)) $ 속도에 비해 유의미하게 향상된 결과를 도출한다.
• 목적 함수와 GP 사전 분포에 대해 약한 정규성 조건이 성립할 경우 분석이 유효하다.
• 결과는 결정론성이 베이지안 최적화 설정에서 훨씬 더 빠른 수렴을 가능하게 함을 보여준다.