[논문 리뷰] Solving Bernoulli Rank-One Bandits with Unimodal Thompson Sampling

Cindy Trinh, Emilie Kaufmann외 2명|arXiv (Cornell University)|2019. 12. 06.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 9

한 줄 요약

이 논문은 베르누이 계수 1 밴드잇 문제를 위한 유일모드 톰슨 샘플링(UTS)을 소개하며, 문제의 유일모드 구조를 활용하여 渐近적으로 최적의 손실을 달성함을 증명한다. 시뮬레이션에서 기존 최고 수준의 알고리즘인 Rank1ElimKL보다 최소 20배 이상 성능을 높이며, 기존의 손실 상한과 하한 사이의 격차를 좁힌다.

ABSTRACT

Stochastic Rank-One Bandits (Katarya et al, (2017a,b)) are a simple framework for regret minimization problems over rank-one matrices of arms. The initially proposed algorithms are proved to have logarithmic regret, but do not match the existing lower bound for this problem. We close this gap by first proving that rank-one bandits are a particular instance of unimodal bandits, and then providing a new analysis of Unimodal Thompson Sampling (UTS), initially proposed by Paladino et al (2017). We prove an asymptotically optimal regret bound on the frequentist regret of UTS and we support our claims with simulations showing the significant improvement of our method compared to the state-of-the-art.

연구 동기 및 목표

• 베르누이 계수 1 밴드잇 문제에 대한 기존 상한과 하한 사이의 손실 격차를 좁히기.
• 계수 1 밴드잇 문제가 유일모드 밴드잇의 특수한 경우임을 보여주어 유일모드 알고리즘의 적용을 가능하게 하기.
• 일반적인 유일모드 설정에서 유일모드 톰슨 샘플링(UTS)의 새로운 손실 분석 제공하기.
• UTS가 기존 알고리즘들(예: Rank1ElimKL 및 KL-UCB)에 비해 우월함을 경험적으로 검증하기.
• UTS에서 리더 탐색 매개변수 γ의 역할과 성능에 미치는 영향을 조사하기.

제안 방법

• 저자들은 계수 1 밴드잇 문제가 유일모드 밴드잇의 특수한 경우임을 증명하여 유일모드 톰슨 샘플링(UTS)의 적용을 가능하게 한다.
• UTS는 탐색과 이용의 균형을 이루기 위해 매개변수 γ를 사용하는 리더 탐색 기반 전략을 사용하며, γ=2가 경험적으로 최적 성능을 낼 것을 입증한다.
• 알고리즘은 각 무기의 사후 분포에서 샘플링을 통해 유일모드 구조에 기반해 무기를 선택하며, 여기서 최적의 무기는 유일모드 순서에서 유일한 최댓값이다.
• 일반적인 유일모드 밴드잇 설정에서 UTS에 대한 새로운 손실 분석을 개발하여 渐近적 최적성을 확립한다.
• 이 방법은 베르누이 분포 보상에 적용되며, 각 무기 (i,j)의 평균 μ(i,j) = u_i v_j로 정의되어 계수 1 행렬을 형성한다.
• 이론적 분석을 통해 UTS가 Lai-Robbins 하한에 상수 인자까지 일치하는 손실 상한을 달성함을 보였다.

실험 결과

연구 질문

• RQ1 계수 1 밴드잇 문제를 유일모드 밴드잇 문제로 재정의하여 기존의 유일모드 알고리즘의 적용을 가능하게 할 수 있는가?
• RQ2 유일모드 톰슨 샘플링(UTS)은 베르누이 계수 1 밴드잇 설정에서 渐近적으로 최적의 손실을 달성하는가?
• RQ3 계수 1 밴드잇 문제에 대해 UTS에서 탐색 매개변수 γ의 최적 값은 무엇인가?
• RQ4 UTS는 손실 측면에서 기존 최고 수준의 알고리즘들(예: Rank1ElimKL 및 KL-UCB)과 비교해 실제로 어떻게 성능을 냈는가?
• RQ5 UTS에서 리더 탐색은 성능 향상에 기여하는가? 이 효과는 다른 구조적 밴드잇 문제로 일반화 가능한가?

주요 결과

• 이론적 분석과 시뮬레이션을 통해 UTS는 Lai-Robbins 하한과 일치하는 渐近적으로 최적의 손실을 달성함을 확인했다.
• T=300,000일 때 UTS의 누적 손실은 테스트된 사례들에서 최고 수준의 Rank1ElimKL 알고리즘보다 최소 20배 이상 낮았다.
• 경험적 결과는 γ=2가 가장 우수한 성능을 낼 뿐 아니라, 더 높은 γ 값이나 γ=∞보다 더 낮은 손실과 더 빠른 수렴을 보임을 보여주었다.
• UTS와 OSUB는 모두 이론적 하한에 渐近적으로 도달하지만, KL-UCB는 상당히 더 큰 손실 기울기를 보이며, 이는 비최적성을 시사한다.
• UTS의 손실은 T에 대해 로그적으로 증가하며, 이는 渐近적 최적성을 확인하는 데에 기여하며, 시간이 지남에 따라 나타나는 성능 격차는 이론적 우월성을 확인한다.
• 연구는 리더 탐색(γ를 통해 강제로 수행)이 계수 1 밴드잇 문제에서 성능 향상에 기여함을 확인했으며, 이는 다른 구조적 밴드잇 문제에도 잠재적인 이점을 가질 수 있음을 시사한다.