[논문 리뷰] Optimality of Thompson Sampling for Gaussian Bandits Depends on Priors

Junya Honda, Akimichi Takemura|arXiv (Cornell University)|2013. 11. 08.

Advanced Bandit Algorithms Research인용 수 21

한 줄 요약

이 논문은 평균과 분산이 모두 알려져 있지 않은 가우시안 밴디트 문제에서 톰슨 샘플링(TS)이 특정 사전분포 하에서에만 渐近 최적성(asymptotic optimality)을 달성함을 밝혀냈다. 특히, 균일 사전분포(uniform prior)만 이론적 리그레트 한계를 달성하는 반면, 제프레즈(Jeffreys) 및 레퍼런스(reference) 사전분포는 이를 달성하지 못해 다항식 리그레트를 초래한다. 본 연구는 사전분포 선택이 다매개변수 모델에서 TS 성능에 결정적인 영향을 미친다는 점을 입증한다.

ABSTRACT

In stochastic bandit problems, a Bayesian policy called Thompson sampling (TS) has recently attracted much attention for its excellent empirical performance. However, the theoretical analysis of this policy is difficult and its asymptotic optimality is only proved for one-parameter models. In this paper we discuss the optimality of TS for the model of normal distributions with unknown means and variances as one of the most fundamental example of multiparameter models. First we prove that the expected regret of TS with the uniform prior achieves the theoretical bound, which is the first result to show that the asymptotic bound is achievable for the normal distribution model. Next we prove that TS with Jeffreys prior and reference prior cannot achieve the theoretical bound. Therefore the choice of priors is important for TS and non-informative priors are sometimes risky in cases of multiparameter models.

연구 동기 및 목표

• 모수들이 모두 알려져 있지 않은 정규분포를 따르는 다손대 밴디트 문제에서 톰슨 샘플링(TS)의 渐近 최적성(asymptotic optimality)을 조사하기 위해.
• 이 기초적인 다매개변수 모델에서 TS가 기대 리그레트에 대한 이론적 하한값을 달성하는지 확인하기 위해.
• 균일, 제프레즈, 레퍼런스 등의 비정보 사전분포(non-informative priors)가 TS의 리그레트 성능에 미치는 영향을 평가하기 위해.
• 특히 渐近 최적성(asymptotic optimality)을 얻고자 할 때 비정보 사전분포가 안전한지 혹은 위험한지 명확히 하기 위해.

제안 방법

• 모수들이 모두 알려져 있지 않은 정규분포를 따르는 K-손대 스토케스틱 밴디트 문제를 수학적으로 정의하기 위해.
• 시간에 따라 최적 보상과 실제 보상의 누적 차이로 기대 리그레트를 정의하기 위해.
• 공액 사전분포(conjugate priors)를 사용하여 평균과 분산 모수에 대한 사후분포를 모델링하기 위해.
• 큰 수의 법칙 이론과 케르노프 경계(Chernoff bounds)를 적용하여 표본 평균과 제곱합의 꼬리 확률을 분석하기 위해.
• 사전분포에 기반하여 열악한 손대가 선택될 사후확률에 대한 경계를 유도하기 위해.
• 균일 사전분포가 이론적 하한값과 일치하는 로그 리그레트를 유도함을 증명하고, 제프레즈 및 레퍼런스 사전분포는 다항식 리그레트를 초래함을 증명하기 위해.

실험 결과

연구 질문

• RQ1 평균과 분산이 모두 알려져 있지 않은 가우시안 밴디트 문제에서 톰슨 샘플링은 이론적 渐近 리그레트 한계를 달성하는가?
• RQ2 균일, 제프레즈, 레퍼런스 사전분포 중 어떤 선택이 이 다매개변수 모델에서 톰슨 샘플링의 리그레트 성능에 영향을 미치는가?
• RQ3 제프레즈나 레퍼런스와 같은 비정보 사전분포가 다매개변수 밴디트 문제에서 하위최적의 리그레트를 초래할 수 있는가? 비록 널리 사용되더라도 말이다.
• RQ4 비정보 사전분포일지라도, 톰슨 샘플링의 渐近 최적성(asymptotic optimality)은 사전분포 설정에 민감한가?
• RQ5 다양한 사전분포 하에서 기대 리그레트의 정확한 행동 양태는 무엇인가? 특히 성장률(로그형 vs. 다항식) 측면에서 설명하라.

주요 결과

• 평균과 분산이 모두 알려져 있지 않은 가우시안 밴디트 문제에서 균일 사전분포를 사용한 톰슨 샘플링은 이론적 渐近 리그레트 한계를 달성한다.
• 제프레즈 사전분포를 사용한 톰슨 샘플링은 이론적 한계를 달성하지 못하며, 기대 리그레트로 다항식 리그레트를 겪는다.
• 레퍼런스 사전분포를 사용한 톰슨 샘플링 역시 이론적 한계를 달성하지 못하며, 유사한 하위최적 리그레트 행동을 보인다.
• 비록 사전분포가 비정보적이더라도, 다매개변수 모델에서 톰슨 샘플링 성능에 사전분포 선택이 결정적인 영향을 미친다.
• 본 연구는 비정보 사전분포가 다매개변수 설정에서 위험할 수 있음을 드러내며, 이는 과도하게 낙관적인 사후 믿음과 열악한 탐색을 초래할 수 있음을 시사한다.
• 이론적 분석을 통해 이 밴디트 문제의 범주에서 오직 특정 사전분포—예를 들어 균일 사전분포—만이 渐近 최적성(asymptotic optimality)을 보장함을 확인한다.