[논문 리뷰] Thompson Sampling: An Asymptotically Optimal Finite Time Analysis

Emilie Kaufmann, Nathaniel Korda외 1명|arXiv (Cornell University)|2012. 05. 18.

Advanced Bandit Algorithms Research참고 문헌 11인용 수 34

한 줄 요약

이 논문은 베르누이 보상이 있는 스토하스틱 다익음 밴드잇 문제에서 톰슨 샘플링이 渐近적으로 최적임을 증명하며, 라이와 롬브스의 하한값을 정확히 따르는 최초의 유한시간 누적 손실 한계를 제시한다. 분석을 통해 톰슨 샘플링이 손실의 최적의 로그 성장률을 달성하는 것으로 확인되었으며, 수치 실험을 통해 UCB, KL-UCB, 베이즈-UCB보다 뛰어난 성능을 보였다.

ABSTRACT

The question of the optimality of Thompson Sampling for solving the stochastic multi-armed bandit problem had been open since 1933. In this paper we answer it positively for the case of Bernoulli rewards by providing the first finite-time analysis that matches the asymptotic rate given in the Lai and Robbins lower bound for the cumulative regret. The proof is accompanied by a numerical comparison with other optimal policies, experiments that have been lacking in the literature until now for the Bernoulli case.

연구 동기 및 목표

• 톰슨 샘플링이 베르누이 밴드잇 문제에서 渐近적으로 최적인지 여부에 대한 오랫동안 미해결된 열린 문제를 해결하기 위해.
• 라이와 롬브스가 설정한 渐近적 하한값을 따르는, 톰슨 샘플링에 대한 유한시간 손실 분석을 제공하기 위해.
• 유한시간 수렴 환경에서 다른 최적 정책, 특히 KL-UCB와 베이즈-UCB와의 성능을 실증적으로 검증하기 위해.
• 복잡한 신뢰 구간이나 분위수 계산을 요구하지 않고도 최적의 손실 비율을 달성할 수 있음을 보여주기 위해.

제안 방법

• 저자들은 농도 불등식과 사후 꼬리 확률 제어를 사용하여, 열열하지 않은 암호의 기대 횟수에 대한 유한시간 상한을 유도한다.
• 열열하지 않은 암호의 횟수 꼬리 행동을 제어하는 데에 사용되는 새로운 분석 기법을 도입하여, 더 날카운 손실 한계를 가능하게 한다.
• 베이지안-베르누이 공액 사전과 관련된 성질을 활용하고, 톰슨 샘플링과 사후 분위수 사이의 이탈 분석을 수행한다.
• 아그라왈과 고얄의 포화된 암호에 관한 연구에서 유래한 개념을 활용하지만, 기대값 뿐 아니라 꼬리 확률까지 제어하도록 확장한다.
• 톰슨 샘플링이 사후 분위수에서 얼마나 떨어져 있는지를 제어하기 위해 베이즈-UCB 지수와 비교한다.
• 수치 실험은 20,000~50,000회의 몬테카를로 시뮬레이션을 통해 유한시간 수렴 환경에서 정책 간 누적 손실을 비교한다.

실험 결과

연구 질문

• RQ1 톰슨 샘플링이 라이와 롬브스의 손실 하한값을 따르는 방식으로, 베르누이 밴드잇 문제에서 渐近적으로 최적인지 여부는 무엇인가?
• RQ2 톰슨 샘플링에 대해 최적의 로그 성장률을 달성하는 유한시간 손실 분석을 수립할 수 있는가?
• RQ3 실제로, 누적 손실 측면에서 다른 최적 정책인 KL-UCB와 베이즈-UCB와 비교할 때 톰슨 샘플링의 성능은 어떠한가?
• RQ4 톰슨 샘플링에서 渐近적 최적성을 달성하는 데 있어 사후 꼬리 제어의 역할은 무엇인가?

주요 결과

• 톰슨 샘플링은 라이와 롬브스의 하한값을 정확히 따르는 최적의 渐近적 손실 비율을 달성하며, 유한시간 손실 한계는 (1+ε)∑(Δa/K(μa,μ*))lnT + o(lnT) 형태를 가진다.
• 이전 결과보다 더 날카운 손실 한계를 확보하였으며, 이는 이전에 1/Δa²lnT 비례로만 얻어진 결과와 대비된다.
• 수치 실험 결과, 특히 암호 평균 간 격차가 작은 문제에서, 큰 수렴 시간 동안 톰슨 샘플링이 KL-UCB와 베이즈-UCB를 능가하는 누적 손실을 기록한다.
• 톰슨 샘플링는 다른 정책과 비교해 가장 쉽게 최적 정책을 구현할 수 있으며, 라운드당 각 암호에 대해 하나의 사후 표본만 필요로 한다. 반면 KL-UCB와 베이즈-UCB는 최적화나 분위수 문제를 해결해야 한다.
• 다양한 보상 크기와 암호 간 격차에 대해 성능이 안정적이며, 다양한 μ 값을 가진 10암호 밴드잇 설정에서 일관되게 뛰어난 성능을 보였다.
• 열열하지 않은 암호의 횟수 꼬리 확률을 제어하는 증명 기법 덕분에, UCB 방식의 방법과 유사한 더 단순하고 직접적인 유한시간 분석이 가능해졌다.