[논문 리뷰] Thompson Sampling for Budgeted Multi-armed Bandits

Yingce Xia, Haifang Li외 3명|arXiv (Cornell University)|2015. 05. 01.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 31

한 줄 요약

이 논문은 각 액션 선택 시 랜덤한 비용이 발생하고 총 비용이 예산 B로 제약되는 예산 제약 다기관 밴디트(Budgeted Multi-armed Bandits)에 대한 톰슨 샘플링 알고리즘을 제안한다. 각 액션에 대해 보상과 비용의 사후분포를 샘플링하고, 가장 높은 샘플된 비율을 가진 액션을 선택하며, 분포에 의존하는 오차 한계로 O(ln B)를 달성한다. 이는 기존 방법보다 더 낫다.

ABSTRACT

Thompson sampling is one of the earliest randomized algorithms for multi-armed bandits (MAB). In this paper, we extend the Thompson sampling to Budgeted MAB, where there is random cost for pulling an arm and the total cost is constrained by a budget. We start with the case of Bernoulli bandits, in which the random rewards (costs) of an arm are independently sampled from a Bernoulli distribution. To implement the Thompson sampling algorithm in this case, at each round, we sample two numbers from the posterior distributions of the reward and cost for each arm, obtain their ratio, select the arm with the maximum ratio, and then update the posterior distributions. We prove that the distribution-dependent regret bound of this algorithm is $O(\ln B)$, where $B$ denotes the budget. By introducing a Bernoulli trial, we further extend this algorithm to the setting that the rewards (costs) are drawn from general distributions, and prove that its regret bound remains almost the same. Our simulation results demonstrate the effectiveness of the proposed algorithm.

연구 동기 및 목표

• 확률적 보상과 비용을 가진 예산 제약 다기관 밴디트에 톰슨 샘플링를 적용하는 데 있어 기존의 격차를 메우기 위해.
• 기존 알고리즘이 결정론적 비용을 가정하거나 최소 비용 지식이 필요로 하는 한계를 극복하기 위해.
• 예산 제약 하에 확률적 비용과 보상 설정에서 확장 가능하고 이론적으로 타당한 알고리즘을 설계하기 위해.
• 특히 분포에 의존하는 설정에서 기존 방법보다 더 낫게 오차 한계를 달성하기 위해.

제안 방법

• 각 액션의 기대 보상과 비용을 모델링하기 위해 베타 분포를 공액 사전분포로 사용한다.
• 각 라운드에서 각 액션의 사후분포로부터 보상과 비용을 샘플링하고, 그 비율을 계산하여 최대 비율을 가진 액션을 선택한다.
• 관측된 보상과 비용 결과에 기반해 선택된 액션의 사후분포를 업데이트한다.
• 비율 샘플링 과정을 근사하기 위해 베르누이 시험을 사용하여 일반적인 보상과 비용 분포로 알고리즘을 확장한다.
• 집중 불등식과 중간 사건을 활용하여 비최적 액션의 예상 선택 횟수를 제한한다.
• 비최적 액션과 최적 액션 간의 δ-비율 및 ε-비율 간격을 분석함으로써 오차가 O(ln B)임을 증명한다.

실험 결과

연구 질문

• RQ1 확률적 비용과 보상을 가진 예산 제약 다기관 밴디트 설정에 톰슨 샘플링을 효과적으로 적용할 수 있는가?
• RQ2 제안된 톰슨 샘플링 변종의 이론적 오차 성능은 예산 제약 다기관 밴디트 설정에서 어떻게 되는가?
• RQ3 제안된 알고리즘의 오차 한계는 UCB-BV1/BV2 및 ε-first와 같은 기존 알고리즘과 비교해 어떻게 되는가?
• RQ4 이 알고리즘은 베르누이 이외의 일반적인 보상과 비용 분포로 확장될 수 있는가?
• RQ5 특히 분포에 의존하는 설정에서 이전 작업보다 더 낫게 오차 상수를 달성하는가?

주요 결과

• 제안된 톰슨 샘플링 알고리즘은 O(ln B)의 분포에 의존하는 오차 한계를 달성하며, 이는 로그 인자에 대해 최적이며 최적이다.
• 이론적 비교에서 UCB-BV1 및 UCB-BV2보다 O(ln B) 한계의 오차 상수가 엄격히 작다.
• 모의 실험 결과에 따르면 알고리즘은 실사용에서도 뛰어난 성능을 유지한다.
• 이론적 분석은 δ-비율 및 ε-비율 간격을 정의하고, 집중 불등식을 사용하여 비최적 액션 선택 횟수를 제어하는 데 의존한다.
• 베르누이 시험을 통한 일반 분포로의 확장은 O(ln B) 오차 한계를 유지하며 성능 손실가 최소한이다.
• UCB-BV1/BV2와 달리 최소 기대 비용에 대한 사전 지식이 필요 없어 실제 적용에 더 적합하다.