[논문 리뷰] Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits

Tianyuan Jin, Pan Xu외 2명|arXiv (Cornell University)|2022. 06. 07.

Advanced Bandit Algorithms Research인용 수 7

한 줄 요약

이 논문은 지수족 다익정 문제에 대한 톰슨 샘플링 알고리즘인 ExpTS를 제안한다. 이 알고리즘은 최적의 암을 과소추정 방지를 위해 새로운 샘플링 분포를 사용하며, 유한 시간 내의 리그레트 한계를 하위-UCB 기준과 일치시키고, √log K 요소를 제외한 최대 최소 최적성과 점근 최적성을 달성한다. 일반적인 증명 프레임워크를 통해 베르누이, 가우시안, 감마 분포를 포함한 다양한 지수족 분포에 적용 가능하다.

ABSTRACT

We study the regret of Thompson sampling (TS) algorithms for exponential family bandits, where the reward distribution is from a one-dimensional exponential family, which covers many common reward distributions including Bernoulli, Gaussian, Gamma, Exponential, etc. We propose a Thompson sampling algorithm, termed ExpTS, which uses a novel sampling distribution to avoid the under-estimation of the optimal arm. We provide a tight regret analysis for ExpTS, which simultaneously yields both the finite-time regret bound as well as the asymptotic regret bound. In particular, for a $K$-armed bandit with exponential family rewards, ExpTS over a horizon $T$ is sub-UCB (a strong criterion for the finite-time regret that is problem-dependent), minimax optimal up to a factor $\sqrt{\log K}$, and asymptotically optimal, for exponential family rewards. Moreover, we propose ExpTS$^+$, by adding a greedy exploitation step in addition to the sampling distribution used in ExpTS, to avoid the over-estimation of sub-optimal arms. ExpTS$^+$ is an anytime bandit algorithm and achieves the minimax optimality and asymptotic optimality simultaneously for exponential family reward distributions. Our proof techniques are general and conceptually simple and can be easily applied to analyze standard Thompson sampling with specific reward distributions.

연구 동기 및 목표

• 지수족 밴딧 문제, 즉 베르누이 및 가우시안 등 일반적인 분포를 포함하여, 톰슨 샘플링의 유한 시간 리그레트 분석 부족 문제를 해결하기 위해.
• 하위-UCB 기준과 일치하는 유한 시간 리그레트 한계를 동시에 확보하는 톰슨 샘플링 알고리즘을 설계하기 위해.
• 기존의 톰슨 샘플링을 개선하여, 최적의 암 평균을 과소추정 방지하기 위해 새로운 샘플링 분포를 도입하기 위해.
• 일반적인 지수족 보상 분포에 대해 통합적이고 개념적으로 단순한 증명 프레임워크를 통해 이론적 분석을 확장하기 위해.
• ExpTS+를 제안한다. 이는 탐색과 이용을 동시에 고려하는 즉각적 알고리즘으로, 하위 최적의 암에 대한 과대추정을 방지하면서도 최적성을 유지한다.

제안 방법

• 최적의 암 평균을 과소추정 방지를 위해 수정된 샘플링 분포를 사용하는 ExpTS라는 톰슨 샘플링 알고리즘을 제안한다.
• 클로즈비-레이블리브 분산과 경험적 평균 집중도를 기반으로 한 새로운 샘플링 메커니즘을 도입하여 추정 정확도를 향상시킨다.
• 지수족 분포에 대한 최대 부등식과 尾 확률 한계를 기반으로 한 증명 기법을 활용하여 날카운 리그레트 한계를 유도한다.
• 진짜 사후분포와 대체 분포 사이의 이산화 및 비교 분석을 통해 연속적인 경우의 리그레트를 제한한다.
• ExpTS에 탐색 중심의 이용 단계를 추가하여 ExpTS+를 설계함으로써, 하위 최적의 암에 대한 과대추정을 방지한다.
• KL 발산과 집중 불등식을 기반으로 한 일반적 프레임워크를 사용하여 지수족 분포 전반에 걸쳐 유한 시간 및 점근 리그레트를 분석한다.

실험 결과

연구 질문

• RQ1 톰슨 샘플링이 지수족 밴딧 문제에 대해 하위-UCB 기준의 유한 시간 리그레트 한계를 달성할 수 있는가?
• RQ2 톰슨 샘플링이 지수족 보상에 대해 점근 최적성을 달성할 수 있으며, 이는 유한 시간 분석으로 증명될 수 있는가?
• RQ3 톰슨 샘플링의 변형이 수정된 샘플링 분포를 통해 최적의 암을 과소추정 방지할 수 있는가?
• RQ4 지수족 보상에 대해 최대 최소 최적성과 점근 최적성을 동시에 확보하는 즉각적 밴딧 알고리즘을 설계할 수 있는가?
• RQ5 이론적 증명 기법은 베르누이나 가우시안 등의 특정 케이스를 넘어서 광범위한 지수족 분포 클래스에 일반화될 수 있는가?

주요 결과

• ExpTS는 하위-UCB 기준과 일치하는 유한 시간 리그레트 한계를 확보하며, 이는 모든 지수족 밴딧 문제에 대해 문제에 따라 달라지며 날카로운 한계이다.
• ExpTS는 √log K 요소를 제외한 최대 최소 최적성을 달성한다. 즉, 모든 K-암 밴딧 문제에서 최악의 경우 리그레트가 O(√(KT))의 비율로 증가한다.
• ExpTS는 점근 최적성을 달성하며, lim_{T→∞} R_μ(T)/log T = ∑_{i>1} (μ₁−μᵢ)/kl(μᵢ,μ₁)를 만족한다. 이는 정보 이론적 하한선과 일치한다.
• ExpTS+는 최대 최소 최적성과 점근 최적성을 동시에 확보하여, 강력한 이론적 보장을 가진 즉각적 알고리즘이다.
• 증명 프레임워크는 일반적이며 개념적으로 단순하여, 베르누이 및 가우시안와 같은 특정 분포에 대해 표준 톰슨 샘플링의 직접적 분석이 가능하다.
• 분석을 통해 ExpTS의 새로운 샘플링 분포가 최적의 암을 과소추정 방지에 효과적임을 입증하였으며, 이는 기존 표준 TS의 핵심 결함 요소이다.