[논문 리뷰] On Information Gain and Regret Bounds in Gaussian Process Bandits

Sattar Vakili, Kia Khezeli외 1명|arXiv (Cornell University)|2020. 09. 15.

Advanced Bandit Algorithms Research참고 문헌 44인용 수 7

한 줄 요약

이 논문은 커널 함수의 고유값 감쇠 분석을 통해 가우시안 프로세스 밴딧에서 정보 수익($γ_T$)의 일반적인 프레임워크를 제안한다. 일반적인 커널인 마테른 및 제곱 지수 커널에 대해 $γ_T$의 더 날카운 bounds를 유도함으로써, 기존의 상한과 하한 사이의 갭을 크게 줄였다. 이로써 빈도주의 설정 하에서 마테른 커널에 대해 이전에 큰 열린 문제였던 날카운 적으로 tight한 regret bounds(로그 팩터를 제외한)를 달성하였다.

ABSTRACT

Consider the sequential optimization of an expensive to evaluate and possibly non-convex objective function $f$ from noisy feedback, that can be considered as a continuum-armed bandit problem. Upper bounds on the regret performance of several learning algorithms (GP-UCB, GP-TS, and their variants) are known under both a Bayesian (when $f$ is a sample from a Gaussian process (GP)) and a frequentist (when $f$ lives in a reproducing kernel Hilbert space) setting. The regret bounds often rely on the maximal information gain $γ_T$ between $T$ observations and the underlying GP (surrogate) model. We provide general bounds on $γ_T$ based on the decay rate of the eigenvalues of the GP kernel, whose specialisation for commonly used kernels, improves the existing bounds on $γ_T$, and subsequently the regret bounds relying on $γ_T$ under numerous settings. For the Matérn family of kernels, where the lower bounds on $γ_T$, and regret under the frequentist setting, are known, our results close a huge polynomial in $T$ gap between the upper and lower bounds (up to logarithmic in $T$ factors).

연구 동기 및 목표

• 가우시안 프로세스 밴딧에서 기존의 상한과 하한 사이의 큰 갭을 좁히는 것, 특히 빈도주의 설정 하에서 마테른 커널에 대해.
• 커널 고유값의 감쇠율에 기반한 일반적이고 커널에 의존하지 않는 정보 수익($\\gamma_T$)의 bounds를 제공하는 것.
• 더 날카운 $γ_T$ 추정치를 활용하여 GP-UCB, GP-TS 및 SupKernelUCB의 regret bounds를 향상시키는 것.
• 빈도주의 설정 하에서 마테른 커널에 대해 새로운 $γ_T$ bounds가 로그 팩터를 제외한 측면에서 tight함을 입증하는 것.
• 정보 수익과 regret에 관한 이전 결과들을 통합하고 확장하기 위해 원리적인 고유값 기반 분석을 도입함으로써 베이지안 최적화 분야의 이론적 기여를 이끌어내는 것.

제안 방법

• 커널 고유값의 다항식 및 지수 감쇠율에 기반한 정보 수익 $γ_T$ 의 일반적인 상한 bounds를 유도한다.
• 고유값 감쇠 조건(다항식: $λ_m \sim m^{-\beta_p}$, 지수: $λ_m \sim \exp(-m^{\beta_e})$)을 도입하여 $T$ 에 대한 $γ_T$ 의 bounds 를 유도한다.
• 특정 커널에 적용: 마테른 ($γ_T = \mathcal{O}(T^{d/(2\nu + d)} \log^{2\nu/(2\nu + d)}(T))$) 및 제곱 지수 ($γ_T = \mathcal{O}(\log^{d+1}(T))$).
• 개선된 $γ_T$ bounds 를 활용하여 베이지안 및 빈도주의 설정 모두에서 GP-UCB, GP-TS 및 SupKernelUCB 의 regret 보장을 정교화한다.
• Scarlett 등(2017)의 알려진 하한과 비교하여 새로운 $γ_T$ bounds 가 로그 팩터를 제외한 측면에서 tight함을 입증한다.
• 기존 결과보다 갭을 수십 차수 이상 줄이는 통합된 이론적 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 커널의 고유값 감쇠 특성에서 더 날카운 정보 수익 $γ_T$ 의 bounds 를 도출할 수 있는가?
• RQ2 이러한 개선된 $γ_T$ bounds 는 빈도주의 설정 하에서 GP-UCB 와 GP-TS 의 regret 성능에 어떤 영향을 미치는가?
• RQ3 새로운 bounds 는 마테른 커널에 대해 기존의 상한과 하한 사이의 갭을 어느 정도 줄였는가?
• RQ4 제안된 고유값 기반 분석은 제곱 지수 커널과 같은 일반적으로 사용되는 다른 커널에 적용 가능한가?
• RQ5 빈도주의 설정 하에서 GP-UCB 와 GP-TS 의 결과 regret bounds 는 이제 로그 팩터를 제외한 측면에서 tight한가?

주요 결과

• 논문은 마테른-$\nu$ 커널에 대해 $γ_T = \mathcal{O}(T^{d/(2\nu + d)} \log^{2\nu/(2\nu + d)}(T))$ 를 입증하였으며, 이는 이전의 bounds 를 향상시키고 알려진 $Ω(T^{d/(2\nu + d)})$ 하한과 로그 팩터를 제외한 측면에서 갭을 좁힌다.
• 제곱 지수 커널의 경우 $γ_T = \mathcal{O}(\log^{d+1}(T))$ 의 bounds 가 로그 팩터를 제외한 측면에서 tight함을 입증하였으며, 알려진 하한과 일치한다.
• 빈도주의 설정 하에서 마테른 커널을 사용하는 SupKernelUCB 의 regret bounds 는 $\mathcal{O}(T^{(\nu + d)/(2\nu + d)} \log^{5/2 - d/(4\nu + 2d)}(T))$ 로 향상되었으며, 하한과의 갭은 $\log^{5/2}(T)$ 팩터로 줄어든다.
• $γ_T$ 의 bounds 는 GP-UCB 와 GP-TS 에 대한 개선된 regret 보장을 이끌어내었으며, 마테른 커널에 대해 $\mathcal{O}(T^{(\nu + d)/(2\nu + d)} \log^{(4\nu + d)/(4\nu + 2d)}(T))$ 를 달성하였다. 이는 로그 팩터를 제외한 측면에서 tight하다.
• 분석을 통해 새로운 $γ_T$ bounds 가 빈도주의 설정 하에서 마테른 커널에 대해 로그 팩터를 제외한 측면에서 최적임을 확인하였으며, 오랫동안 남아있던 열린 문제를 해결하였다.
• 이 프레임워크는 다항식 또는 지수 감쇠를 보이는 모든 커널에 일반화 가능하며, GP 밴딧에서 정보 수익과 regret 분석을 위한 통합된 접근법을 제공한다.