[논문 리뷰] Further Optimal Regret Bounds for Thompson Sampling

Shipra Agrawal, Navin Goyal|arXiv (Cornell University)|2012. 09. 15.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 303

한 줄 요약

이 논문은 톰슨 샘플링에 대한 새로운 마링갈 기반의 회귀 분석을 제안하며, 문제 의존적 회귀 한계의 최적 bound $(1+\epsilon)\sum_i \frac{\ln T}{\Delta_i} + O(\frac{N}{\epsilon^2})$ 와 문제 독립적 bound의 최초의 근사 최적 bound $O(\sqrt{NT\ln T})$ 를 확립한다. 이는 COLT 2012에서 제기된 열린 문제를 해결한다. 분석은 개념적으로 단순하며, 베타 분포를 초과하여 비모수적 분포와 컨텍스트 밴디트 문제에까지 확장 가능하며, 이전 연구에 비해 더 강력한 이론적 보장을 제공한다.

ABSTRACT

Thompson Sampling is one of the oldest heuristics for multi-armed bandit problems. It is a randomized algorithm based on Bayesian ideas, and has recently generated significant interest after several studies demonstrated it to have better empirical performance compared to the state of the art methods. In this paper, we provide a novel regret analysis for Thompson Sampling that simultaneously proves both the optimal problem-dependent bound of $(1+ε)\sum_i \frac{\ln T}{Δ_i}+O(\frac{N}{ε^2})$ and the first near-optimal problem-independent bound of $O(\sqrt{NT\ln T})$ on the expected regret of this algorithm. Our near-optimal problem-independent bound solves a COLT 2012 open problem of Chapelle and Li. The optimal problem-dependent regret bound for this problem was first proven recently by Kaufmann et al. [ALT 2012]. Our novel martingale-based analysis techniques are conceptually simple, easily extend to distributions other than the Beta distribution, and also extend to the more general contextual bandits setting [Manuscript, Agrawal and Goyal, 2012].

연구 동기 및 목표

• 톰슨 샘플링에 대해 문제 의존적 최적 및 문제 독립적 근사 최적의 회귀 한계를 同시로 달성하는 엄밀한 회귀 분석을 제공하는 것.
• 톰슨 샘플링에 대한 문제 독립적 근사 최적의 회귀 한계를 확보하는 것, 즉 $O(\sqrt{NT\ln T})$ 를 달성하여 2012년 COLT에서 제기된 열린 문제를 해결하는 것.
• 베타 분포를 초월하여 다른 지수족 분포에까지 적용 가능한 개념적으로 단순한 마링갈 기반 분석 기법을 개발하는 것.
• 더 일반적인 컨텍스트 밴디트 설정으로의 분석 확장을 통해 더 넓은 적용 가능성을 입증하는 것.

제안 방법

• 서브옵티멀 암을 뽑는 횟수의 기대값을 제한하기 위해 새로운 마링갈 기반 분석 프레임워크를 개발한다.
• 회귀를 KL 발산 $d(\mu_i, \mu_1)$ 와 연결하기 위해 중간 값 $x_i$ 와 $y_i$ 를 통한 임계값 설정 기법을 도입한다.
• 집중 부등식과 지수 모멘트의 尾부 bound 를 사용하여 서브옵티멀 암의 뽑힘 횟수의 기대값을 제어한다.
• Pinsker의 부등식을 활용하여 $\ell_2$-거리와 KL 발산을 연결함으로써 더 엄밀한 bound 를 도출한다.
• 문제 독립적 bound 를 위해, 악성 케이스 $\Delta_i \geq \sqrt{N\ln T / T}$ 를 가정하고 문제 의존적 bound 에 대입한다.
• 후행 분포 갱신의 구조적 성질을 활용하여, 이 프레임워크가 베타 분포를 초월한 비모수적 분포와 컨텍스트 밴디트 설정으로도 자연스럽게 확장됨을 보여준다.

실험 결과

연구 질문

• RQ1 톰슨 샘플링은 카프만 등이 제시한 渐近 하한과 일치하는 최적의 문제 의존적 회귀 한계를 달성할 수 있는가?
• RQ2 톰슨 샘플링은 문제 독립적 회귀 한계 $O(\sqrt{NT\ln T})$ 를 근사 최적 수준으로 달성할 수 있는가? 이는 2012년 COLT에서 제기된 열린 문제를 해결하는 것이다.
• RQ3 베타-베르누이 설정을 초월하여 적용 가능한 개념적으로 더 단순하고 일반적인 톰슨 샘플링 분석 기법이 존재하는가?
• RQ4 이 분석은 최소한의 수정으로 컨텍스트 밴디트 설정으로까지 확장 가능한가?
• RQ5 후행 확률 매칭 프레임워크에서 임계값 $x_i$ 와 $y_i$ 의 선택은 bound 에 어떤 영향을 미치는가?

주요 결과

• 논문은 톰슨 샘플링에 대해 문제 의존적 최적의 회귀 한계 $(1+\epsilon)\sum_i \frac{\ln T}{\Delta_i} + O(\frac{N}{\epsilon^2})$ 를 확립하며, 이는 카프만 등의 渐近 하한과 $1+\epsilon$ 요소 이내로 일치한다.
• 논문은 문제 독립적 회귀 한계의 최초의 근사 최적 bound $O(\sqrt{NT\ln T})$ 를 증명하며, 2012년 COLT에서 제기된 열린 문제를 해결한다.
• 이 분석은 개념적으로 단순한 마링갈 기반 프레임워크를 사용하며, 이는 이전 접근법보다 복잡한 정보 이론적 분해를 피한다.
• KL 발산과 집중 성질을 활용함으로써, 베타 분포를 초월한 분포(예: 정규분포, 지수족 분포 등)로도 자연스럽게 확장 가능하다.
• 핵심 아이디어는 이 논문의 분석이 후속 컨텍스트 밴디트 연구에서 분석의 기초로 활용된 바가 있다.
• 서브옵티멀 암에 대해 $\mathbb{E}[k_i(T)] = O(\frac{1}{\Delta_i^2} \ln T)$ 를 유도하였으며, 이는 악성 케이스 $\Delta_i$ 스케일링과 조합하여 총 회귀 한계 $O(\sqrt{NT\ln T})$ 를 이끌어낸다.