[논문 리뷰] Optimal Order Simple Regret for Gaussian Process Bandits

Sattar Vakili, Nacime Bouziani외 3명|arXiv (Cornell University)|2021. 08. 20.

Advanced Bandit Algorithms Research참고 문헌 72인용 수 5

한 줄 요약

이 논문은 가우시안 프로세스 밴디트 문제에 대해 순수 탐색 알고리즘인 최대 분산 감소(MVR)를 제안하며, 단순 손실의 최적 순서 상한 $ \tilde{\mathcal{O}}(\sqrt{\gamma_N / N})$ 을 달성하여 기존 상한과 하한 사이의 격차를 크게 좁힌다. 이 방법은 RKHS 내의 GP 모델에 대해 새로운 날카운 감도 간격을 활용하여, 알려진 하한에 비해 로그 인자 수준 이내로 이론적 최적성을 확립한다.

ABSTRACT

Consider the sequential optimization of a continuous, possibly non-convex, and expensive to evaluate objective function $f$. The problem can be cast as a Gaussian Process (GP) bandit where $f$ lives in a reproducing kernel Hilbert space (RKHS). The state of the art analysis of several learning algorithms shows a significant gap between the lower and upper bounds on the simple regret performance. When $N$ is the number of exploration trials and $γ_N$ is the maximal information gain, we prove an $ ilde{\mathcal{O}}(\sqrt{γ_N/N})$ bound on the simple regret performance of a pure exploration algorithm that is significantly tighter than the existing bounds. We show that this bound is order optimal up to logarithmic factors for the cases where a lower bound on regret is known. To establish these results, we prove novel and sharp confidence intervals for GP models applicable to RKHS elements which may be of broader interest.

연구 동기 및 목표

• 가우시안 프로세스 밴디트 문제에서 단순 손실에 대한 기존 상한과 하한 사이의 격차를 좁히기.
• 순수 탐색 알고리즘을 개발하여 단순 손실 성능이 순서적으로 최적화될 수 있도록 하기.
• 재생 커널 힐버트 공간(RKHS)에 속하는 함수에 적용 가능한 새로운 날카운 GP 모델의 신뢰 간격을 도출하기.
• 제안된 알고리즘의 이론적 최적성을 로그 인자 수준 이내로 확립하기.
• GP 사후 분산을 커널 리지 회귀와 연결함으로써 단순 손실의 분석을 더욱 견고히 하기.

제안 방법

• 사후 분산이 가장 높은 점을 선택하여 불확실성 감소를 극대화하는 순수 탐색 알고리즘인 최대 분산 감소(MVR)를 제안한다.
• 사후 분산을 노이즈가 없는 예측 오차와 노이즈 영향으로 분해함으로써 GP 모델에 대한 새로운 신뢰 간격을 유도한다(정리 1).
• 사후 분산을 노이즈가 없는 관측치로부터의 최대 예측 오차의 합과 관측 노이즈의 영향으로 표현한다.
• 사후 분산 분해를 통해 GP 회귀와 커널 리지 회귀 간의 연결 고리를 설정한다.
• 유도된 신뢰 간격을 활용하여, 서브가우시안 및 꼬리가 가벼운 노이즈 가정 하에 MVR의 단순 손실을 분석한다.
• 특히 $\gamma_N$인 최대 정보 수익을 포함한 정보 이론적 양을 사용하여 고확률 손실 상한을 증명한다.

실험 결과

연구 질문

• RQ1 GP 밴디트 문제에서 순수 탐색 전략이 로그 인자 수준 이내로 순서적으로 최적의 단순 손실을 달성할 수 있는가?
• RQ2 목적 함수가 RKHS에 속할 경우, GP 모델에 대해 가장 날카로운 가능한 신뢰 간격은 무엇인가?
• RQ3 GP 모델의 사후 분산은 노이즈가 없는 성분과 노이즈 영향을 받는 성분으로 어떻게 분해되는가?
• RQ4 GP 회귀와 커널 리지 회귀 간의 연결 고리를 활용하여 손실 분석을 향상시킬 수 있는가?
• RQ5 일반적인 노이즈 가정 하에 MVR 알고리즘의 이론적 단순 손실 상한은 무엇인가?

주요 결과

• MVR 알고리즘은 고확률 단순 손실 상한 $ \tilde{\mathcal{O}}(\sqrt{\gamma_N / N})$ 을 달성하며, 이는 이전의 상한보다 훨씬 더 날카롭다.
• 제안된 신뢰 간격은 날카롭고 RKHS 원소에 적용 가능하여 더 견고한 손실 분석을 가능하게 한다.
• 사후 분산은 노이즈가 없는 예측 오차 항과 노이즈에 의존하는 항으로 분해되며, GP 불확실성에 대한 새로운 통찰을 제공한다.
• 분석을 통해 $ \tilde{\mathcal{O}}(\sqrt{\gamma_N / N})$ 상한이 알려진 하한에 비해 로그 인자 수준 이내로 순서적으로 최적임을 입증한다.
• 수치 실험 결과 MVR는 Hartman3 및 Rosenbrock 테스트 함수에서 GP-UCB, GP-PI, GP-EI보다 단순 손실 측면에서 뛰어난 성능을 보였다.
• 단순 손실의 기대값 $ \mathbb{E}[r^{\text{MVR}}_N] \leq \epsilon$ 을 달성하기 위한 이론적 표본 복잡도가 유도되었으며, 로그를 포함한 비선형 방정식을 풀어야 한다.