[논문 리뷰] Adaptive Rate of Convergence of Thompson Sampling for Gaussian Process Optimization

Kinjal Basu, Souvik Ghosh|arXiv (Cornell University)|2017. 05. 18.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 4

한 줄 요약

이 논문은 연속 도메인에서 가우시안 프로세스 최적화에 대한 톰슨 샘플링의 첫 번째 적응형 수렴 속도를 확립한다. 이는 순차적 추정치 $\bm{x}^t$ 가 전역 최대화자 $\bm{x}^*$ 로 수렴할 때 시간 $t$ 에 대해 지수적 속도로 수렴함을 증명하며, 이 감쇠 속도는 함수의 날카기 정도 파라미터 $\delta_\epsilon$ 에 따라 적응적으로 결정된다. 이 결과는 정규성 조건 하에서 성립하며, 알고리즘의 수렴 행동에 대한 비점근적 농도 경계를 제공한다.

ABSTRACT

We consider the problem of global optimization of a function over a continuous domain. In our setup, we can evaluate the function sequentially at points of our choice and the evaluations are noisy. We frame it as a continuum-armed bandit problem with a Gaussian Process prior on the function. In this regime, most algorithms have been developed to minimize some form of regret. In this paper, we study the convergence of the sequential point $x^t$ to the global optimizer $x^*$ for the Thompson Sampling approach. Under some assumptions and regularity conditions, we prove concentration bounds for $x^t$ where the probability that $x^t$ is bounded away from $x^*$ decays exponentially fast in $t$. Moreover, the result allows us to derive adaptive convergence rates depending on the function structure.

연구 동기 및 목표

• 소음이 있는 함수 평가가 수반되는 연속 도메인 베이지안 최적화에서 톰슨 샘플링의 수렴 속도를 분석하는 것.
• 샘플된 점들의 수열 $\bm{x}^t$ 가 전역 최대화자 $\bm{x}^*$ 로 수렴하는 데 대한 비점근적 농도 경계를 설정하는 것.
• 함수의 내재적 구조, 특히 날카기 정도 파라미터 $\delta_\epsilon$ 를 통해 수렴 속도가 어떻게 적응되는지 기술하는 것.
• 톰슨 샘플링의 경험적 성공에 대한 이론적 근거를 제공하여, 특히 최소화된 손실보다 점 수렴이 더 중요한 전역 최적화 과제에서의 타당성을 뒷받침하는 것.

제안 방법

• 알 수 없는 함수 $f$ 에 대해 가우시안 프로세스 사전분포를 가진 연속 무한대 막대 기반 밴드잇 문제로 전역 최적화 문제를 재구성한다.
• 각 단계 $t$ 에서 함수 $f$ 의 사후분포에서 점 $\bm{x}^t$ 를 샘플링하는 톰슨 샘플링을 분석한다.
• 정규성 조건 하에서, $\|\bm{x}^t - \bm{x}^*\| > \epsilon$ 인 확률이 $t$ 에 대해 지수적으로 감소함을 보여주는 농도 경계를 유도한다.
• 최적점 주변의 국소 곡률을 측정하기 위해 날카기 정도 파라미터 $\delta_\epsilon$ 를 도입한다. 이는 수렴 속도를 결정한다.
• 사후 수축과 농도 부등식을 기반으로 한 새로운 증명 기법을 사용하여 지수 감쇠 속도를 확립한다.
• 분석을 톰슨 샘플링의 배치 모드 변형으로 확장하여, 시뮬레이션에서의 실용적 효율성을 검증한다.

실험 결과

연구 질문

• RQ1 연속 도메인 베이지안 최적화에서 톰슨 샘플링이 전역 최대화자로 수렴하는 속도는 무엇인가?
• RQ2 수렴 속도는 알려지지 않은 함수의 구조적 특성, 예를 들어 국소 곡률과 어떻게 관련이 있는가?
• RQ3 GP 사전분포 하에서 톰슨 샘플링의 샘플된 점 수열 $\bm{x}^t$ 에 대해 비점근적 농도 경계를 설정할 수 있는가?
• RQ4 수렴 속도는 함수의 날카기 정도에 적응되는가? 만약 그렇다면, 이는 수학적으로 어떻게 기술되는가?
• RQ5 관측 소음의 존재가 수렴 속도에 어떤 영향을 미치며, 이를 정량화할 수 있는가?

주요 결과

• 정규성 조건 하에서, 샘플된 점 $\bm{x}^t$ 가 전역 최대화자 $\bm{x}^*$ 로부터 벗어나 있는 확률은 $t$ 에 대해 지수적으로 감소한다.
• 수렴 속도는 적응적이며, 전역 최대화자 주변의 국소 곡률을 캡처하는 날카기 정도 파라미터 $\delta_\epsilon$ 에 따라 달라진다.
• 더 평평한 함수(작은 $\delta_\epsilon$)의 경우 수렴 속도가 느려지며, 이는 더 어려운 최적화 환경에서 수렴 속도가 느려짐을 확인한다.
• 시뮬레이션 결과는 피크의 두드러짐이 높고 관측 소음($\sigma$) 이 낮은 함수에서 수렴 속도가 더 빠르다는 것을 확인한다.
• 배치 모드 톰슨 샘플링은 실질적으로 더 빠른 수렴을 달성하여 동일한 시간 예산 내에서 병렬 탐색을 가능하게 한다.
• 이론적 프레임워크는 동일한 증명 기법을 사용해 다른 UCB 유형 알고리즘에 대한 적응형 수렴 속도 유도에 기초를 마련한다.