[논문 리뷰] Analysis of Thompson Sampling for the multi-armed bandit problem

Shipra Agrawal, Navin Goyal|arXiv (Cornell University)|2011. 11. 08.

Advanced Bandit Algorithms Research참고 문헌 13인용 수 738

한 줄 요약

이 논문은 스위치드 다항 보상 밴딧 문제에서 톰슨 샘플링이 로그적 기대 손실을 달성한다는 최초의 이론적 분석을 제공한다. 이중 보상의 경우 손실은 $ O\left(\frac{\ln T}{\Delta} + \frac{1}{\Delta^3}\right) $이며, $ N $-보상의 경우 $ O\left(\left(\sum_{i=2}^{N}\frac{1}{\Delta_i^2}\right)^2 \ln T\right) $이다. 이는 상수 요소와 $ \Delta $-의존성의 차이를 제외하고 알려진 하한값과 일치한다.

ABSTRACT

The multi-armed bandit problem is a popular model for studying exploration/exploitation trade-off in sequential decision problems. Many algorithms are now available for this well-studied problem. One of the earliest algorithms, given by W. R. Thompson, dates back to 1933. This algorithm, referred to as Thompson Sampling, is a natural Bayesian algorithm. The basic idea is to choose an arm to play according to its probability of being the best arm. Thompson Sampling algorithm has experimentally been shown to be close to optimal. In addition, it is efficient to implement and exhibits several desirable properties such as small regret for delayed feedback. However, theoretical understanding of this algorithm was quite limited. In this paper, for the first time, we show that Thompson Sampling algorithm achieves logarithmic expected regret for the multi-armed bandit problem. More precisely, for the two-armed bandit problem, the expected regret in time $T$ is $O(\frac{\ln T}Δ + \frac{1}{Δ^3})$. And, for the $N$-armed bandit problem, the expected regret in time $T$ is $O([(\sum_{i=2}^N \frac{1}{Δ_i^2})^2] \ln T)$. Our bounds are optimal but for the dependence on $Δ_i$ and the constant factors in big-Oh.

연구 동기 및 목표

• 스위치드 다항 보상 밴딧 설정에서 톰슨 샘플링의 손실 성능에 대한 최초의 엄밀한 이론적 분석을 제공하는 것.
• 톰슨 샘플링의 경험적 성공과 분석적 이해 사이의 이론적 격차를 메우는 것.
• 톰슨 샘플링이 스위치드 밴딧에 대해 정보 이론적 하한값에 가까운 손실 경계를 달성한다는 것을 입증하는 것.
• 지연된 피드백 및 배치 피드백 하에서 알고리즘의 행동을 분석하여 경험적 강건성에 기반을 두는 것.
• 이론적 보장을 컨텍스트 밴딧 및 기타 일반화로 확장하기 위한 기초를 마련하는 것.

제안 방법

• 베이지안 확률 매칭을 사용한다: 각 단계에서 최적일 가능성이 높은 손실에 비례하여 암이 선택된다.
• ‘포화된’ 및 ‘포화되지 않은’ 암의 개념을 도입한다. 포화되지 않은 암은 최적일 가능성이 높을 경우에만 선택된다.
• 손실은 포화된 암과 포화되지 않은 암의 기여도로 분해되며, 이는 농도 부등식과 이항분포 및 베타분포의 尾부 경계를 사용하여 유도된다.
• 핵심 기술 도구로 베르누이 분포 간의 KL 발산과 베타 사후분포의 누적분포함수에 대한 尾부 경계를 사용한다.
• 증명은 새로운 커플링 추론과 조건부 기대값 경계를 활용하여 비최적 암의 평균 선택 횟수를 제어한다.
• 원래의 베르누이 기반 수식을 일반화하여 일반 [0,1]-유계 보상 분포에 적용 가능한 톰슨 샘플링의 새로운 확장형을 제안한다.

실험 결과

연구 질문

• RQ1 톰슨 샘플링은 스위치드 다항 보상 밴딧 문제에서 로그적 손실을 달성하는가?
• RQ2 손실은 최적 암과 비최적 암 사이의 갭 $ \Delta_i $ 에 어떻게 의존하는가?
• RQ3 톰슨 샘플링의 이론적 성능은 알려진 하한값과 밀접하게 경계될 수 있는가?
• RQ4 왜 톰슨 샘플링은 지연된 피드백 하에서도 경험적으로 잘 작동하며, 이는 이론적으로 어떻게 설명될 수 있는가?
• RQ5 이 분석은 컨텍스트 밴딧이나 비베르누이 보상과 같은 더 복잡한 설정으로 확장될 수 있는가?

주요 결과

• 이중 보상 밴딧 문제에서 톰슨 샘플링은 기대 손실이 $ O\left(\frac{1}{\Delta^3} + \frac{\ln T}{\Delta}\right) $임을 보이며, 이는 $ T $ 에 대해 로그적이다.
• $ N $-보상 밴딧 문제에서 기대 손실은 $ O\left(\left(\sum_{i=2}^{N}\frac{1}{\Delta_i^2}\right)^2 \ln T\right) $이며, 상수 요소를 제외하고 알려진 하한값과 일치한다.
• 손실 경계는 상수 요소와 $ \Delta_i $ 의 의존성에 대해 최적임을 확인하여, 톰슨 샘플링의 거의 최적성( near-optimality )을 입증한다.
• 분석은 비최적 암의 선택 횟수가 사후 확률 매칭과 농도 부등식을 통해 엄격히 제어됨을 보여준다.
• 포화되지 않은 암에 기인한 손실은 $ O\left(\ln T \sum_{u=2}^{N} \frac{1}{\Delta_u}\right) $ 이하로 경계되며, 전체 로그적 손실에 기여한다.
• 논문은 톰슨 샘플링의 지연 피드백에 대한 경험적 강건성이 이론적으로 근거를 지닌다는 것을 입증하였으며, 다른 알고리즘에 대한 더 날카운 경계가 필요하여 완전한 정당화를 위해서는 추가 연구가 필요하다.