[논문 리뷰] Analysis of Thompson Sampling for Gaussian Process Optimization in the Bandit Setting

Kinjal Basu, Souvik Ghosh|arXiv (Cornell University)|2017. 05. 18.

Advanced Bandit Algorithms Research인용 수 2

한 줄 요약

이 논문은 함수 평가가 비용이 많이 들고 노이즈가 있는 연속 밴딧 설정에서 가우시안 프로세스 최적화를 위한 톰슨 샘플링을 분석한다. 정규성 조건 하에서, 선택된 점들이 전역 최적화점으로 수렴하는 지수적 속도를 확립하며, 수렴 속도에 대한 새로운 무규제 분석을 제공한다.

ABSTRACT

We consider the global optimization of a function over a continuous domain. At every evaluation attempt, we can observe the function at a chosen point in the domain and we reap the reward of the value observed. We assume that drawing these observations are expensive and noisy. We frame it as a continuum-armed bandit problem with a Gaussian Process prior on the function. In this regime, most algorithms have been developed to minimize some form of regret. Contrary to this popular norm, in this paper, we study the convergence of the sequential point $\boldsymbol{x}^t$ to the global optimizer $\boldsymbol{x}^*$ for the Thompson Sampling approach. Under some assumptions and regularity conditions, we show an exponential rate of convergence to the true optimal.

연구 동기 및 목표

• 규제 최소화에 초점을 맞추지 않고, 가우시안 프로세스 밴딧 최적화에서 톰슨 샘플링의 수렴 행동을 연구하는 것.
• 연속 영역에서 선택된 점들의 수열이 전역 최적화점에 얼마나 빨리 수렴하는지 분석하는 것.
• 목적 함수에 대한 정규성 및 매끄러움 가정 하에서 이론적 수렴 속도를 확립하는 것.
• 수렴 속도에 중점을 두고 규제 기반 분석이 아닌 최적화 성능 분석을 제공하는 것.

제안 방법

• 알려지지 않은 함수에 대한 가우시안 프로세스 사전분포를 가진 연속체 무기 밴딧으로 최적화 문제를 수립한다.
• GP 모델의 사후 표본을 기반으로 도메인 내 점들을 순차적으로 선택하기 위해 톰슨 샘플링을 사용한다.
• 수렴을 보장하기 위해 리프시츠 연속성 및 함수의 매끄러움과 같은 정규성 조건을 적용한다.
• 각 노이즈가 있는 관측 이후 GP 사후분포를 업데이트하기 위해 베이지안 추론을 사용한다.
• 시간 t에서 선택된 점이 전역 최적화점으로부터 주어진 거리 이내에 있을 확률을 분석한다.
• GP 사후분산의 성질과 표본 추출 메커니즘을 사용하여 수렴 속도에 대한 이론적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 비용이 많이 들고 노이즈가 있는 연속적인 함수 평가 설정에서 톰슨 샘플링은 전역 최적화점으로 얼마나 빨리 수렴하는가?
• RQ2 주요 성능 지표로 규제 최소화를 사용하지 않고도 수렴을 확립할 수 있는가?
• RQ3 지수적 수렴을 보장하기 위해 함수와 커널에 대해 어떤 정규성 조건이 필요한가?
• RQ4 GP 모델의 사후분산은 선택된 점들의 수렴 속도에 어떻게 영향을 미치는가?

주요 결과

• 미약한 정규성 조건 하에서 톰슨 샘플링은 전역 최적화점으로 지수적 속도로 수렴한다.
• 수렴 속도는 규제 최소화 목표와 독립적이며, 최적화 성능에 대한 새로운 이론적 시각을 제공한다.
• 선택된 점이 전역 최적화점으로부터 고정된 거리 이내에 있을 확률은 반복 횟수에 따라 지수적으로 감소한다.
• 분석은 GP 사후분산의 감쇠와 표본 추출 메커니즘이 효율적으로 탐색할 수 있는 능력에 기반한다.