[논문 리뷰] Optimal Regret Analysis of Thompson Sampling in Stochastic Multi-armed Bandit Problem with Multiple Plays

Junpei Komiyama, Junya Honda외 1명|arXiv (Cornell University)|2015. 06. 02.

Advanced Bandit Algorithms Research인용 수 72

한 줄 요약

이 논문은 라운드당 다수의 암을 선택하는 스토하스틱 다항보상 밴딧 문제를 위한 계산적으로 효율적인 알고리즘인 다중 플레이 톰슨 샘플링(MP-TS)을 제안한다. 이는 Anantharam 등(1987)이 제시한 游弋 하한값과 일치하는 최적의 리그레트 상한을 달성함을 증명하며, 이는 바이너리 보상에 대해 최적성과 계산 효율성을 동시에 확보한 첫 번째 알고리즘이다.

ABSTRACT

We discuss a multiple-play multi-armed bandit (MAB) problem in which several arms are selected at each round. Recently, Thompson sampling (TS), a randomized algorithm with a Bayesian spirit, has attracted much attention for its empirically excellent performance, and it is revealed to have an optimal regret bound in the standard single-play MAB problem. In this paper, we propose the multiple-play Thompson sampling (MP-TS) algorithm, an extension of TS to the multiple-play MAB problem, and discuss its regret analysis. We prove that MP-TS for binary rewards has the optimal regret upper bound that matches the regret lower bound provided by Anantharam et al. (1987). Therefore, MP-TS is the first computationally efficient algorithm with optimal regret. A set of computer simulations was also conducted, which compared MP-TS with state-of-the-art algorithms. We also propose a modification of MP-TS, which is shown to have better empirical performance.

연구 동기 및 목표

• 다중 플레이 스토하스틱 다항보상 밴딧(MP-MAB) 문제에서 최적의 리그레트 상한을 달성하면서도 계산적으로 효율적인 알고리즘이 부족한 점을 보완한다.
• 각 라운드에 다수의 암을 선택하는 다중 플레이 설정으로 톰슨 샘플링을 확장하여 탐색과 이용의 균형을 이룬다.
• 제안된 MP-TS 알고리즘이 Anantharam 등(1987)이 확립한 하한값과 일치하는 최적의 리그레트 상한을 달성함을 증명한다.
• 시뮬레이션을 통해 MP-TS가 최신 기술 수준의 알고리즘보다 우수한 성능을 보이며, 수정된 버전은 더 나은 성능을 보임을 실험적으로 입증한다.
• 특히 바이너리 보상 분포에 대해 리그레트 스케일링 측면에서 MP-TS의 최적성에 대한 이론적 근거를 제공한다.

제안 방법

• 각 암의 기대 보상에 대한 사후 표본을 기반으로 다수의 암을 선택하는 톰슨 샘플링의 다중 플레이 버전인 MP-TS를 제안한다.
• 베이지안 사후 표본을 사용하여 다중 플레이 설정에서 탐색과 이용의 균형을 유지한다.
• 집중 불등식과 대규수 확률 부등식을 적용하여 열악한 암 선택 확률를 제어한다.
• 특정 임계값인 $\mu_i^{(+)}$와 $\mu_L^{(-)}$를 정의하고 사용하여 열악한 암의 선택 횟수 기대값을 제한한다.
• 상대 엔트로피(Kullback-Leibler 발산) $d(\cdot, \cdot)$를 사용하여 보상 분포 간의 분리 정도를 정량화하고 리그레트 상한을 유도한다.
• 충분한 표본 수 기준 $N_i^{\mathrm{suf}}(T)$를 도입하여 암 $i$의 선택 횟수를 제어하고, 로그 스케일 리그레트 스케일링을 보장한다.

실험 결과

연구 질문

• RQ1 톰슨 샘플링은 다중 플레이 MAB 설정으로 확장될 수 있는가? 이때 최적의 리그레트 성능를 유지할 수 있는가?
• RQ2 제안된 MP-TS 알고리즘이 Anantharam 등(1987)이 제시한 MP-MAB 문제에 대한 점점 하한값을 충족하는가?
• RQ3 이전 알고리즘들이 최적 상수를 갖지 못함에도 불구하고, MP-TS는 최적 리그레트를 달성하면서도 계산적으로 효율적인가?
• RQ4 누적 리그레트와 수렴 속도 측면에서 MP-TS는 최신 기술 수준의 알고리즘들과 비교해 어떻게 성능을 내는가?
• RQ5 MP-TS의 수정된 버전은 이론적 최적성을 유지하면서도 실험적 성능을 더욱 향상시킬 수 있는가?

주요 결과

• MP-TS는 바이너리 보상에 대해 최적의 리그레트 상한을 달성하며, Anantharam 등(1987)이 제시한 점점 하한값과 일치한다.
• MP-TS의 리그레트는 상수 요소가 정보 이론적 하한값과 일치하는 $O(\log T)$ 스케일로 증가한다.
• 이 알고리즘은 다중 플레이 MAB 문제에서 이러한 최적 리그레트 상한을 달성하는 최초의 계산적으로 효율적인 방법이다.
• 원본 MP-TS보다 실험적으로 더 뛰어난 성능을 보이는 수정된 MP-TS 버전이 시뮬레이션에서 입증되었다.
• 이론적 분석을 통해 열악한 암의 선택 횟수 기대값이 $O(\log T)$로 제한되며, 상수 요소가 하한값과 일치함을 확인하였다.
• 증명은 KL 발산과 대규수 확률 부등식을 사용하여 尾확률를 제어하고, 표본 수 기준을 정교하게 조절하는 데 기반한다.