[논문 리뷰] Statistical Efficiency of Thompson Sampling for Combinatorial Semi-Bandits

Pierre Perrault, Étienne Boursier외 2명|arXiv (Cornell University)|2020. 06. 11.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 7

한 줄 요약

이 논문은 이토록 독립적인 결과가 [0,1] 범위 내에 존재하는 경우 베타 사전분포를 사용하고, 다변량 서브가우시안 결과가 존재하는 경우 가우시안 사전분포를 사용하는 경우에 대해, 스 tochastic combinatorial multi-armed bandits 문제에 대해 조합적 톰슨 샘플링(CTS)의 첫 번째 날카운 감소 분석을 수립한다. 이는 두 가지 핵심 설정에서 이루어지며, CTS는 대략적인 감소 요소를 제외한 최적의 渐近적 감소를 달성하며, 최적의 ESCB 정책과는 달리 계산적으로 효율적인 대안을 제공한다.

ABSTRACT

We investigate stochastic combinatorial multi-armed bandit with semi-bandit feedback (CMAB). In CMAB, the question of the existence of an efficient policy with an optimal asymptotic regret (up to a factor poly-logarithmic with the action size) is still open for many families of distributions, including mutually independent outcomes, and more generally the multivariate sub-Gaussian family. We propose to answer the above question for these two families by analyzing variants of the Combinatorial Thompson Sampling policy (CTS). For mutually independent outcomes in $[0,1]$, we propose a tight analysis of CTS using Beta priors. We then look at the more general setting of multivariate sub-Gaussian outcomes and propose a tight analysis of CTS using Gaussian priors. This last result gives us an alternative to the Efficient Sampling for Combinatorial Bandit policy (ESCB), which, although optimal, is not computationally efficient.

연구 동기 및 목표

• 조합적 반반 밴드잇에 대한 톰슨 샘플링의 이론적 이해 부족을 메우기 위해 날카운 감소 경계를 수립하기 위해.
• 베타 사전분포를 사용하여 상호 독립적인 [0,1]-유계 결과에 대해 CTS를 분석하여 최적의 감소 척도를 달성하기 위해.
• 가우시안 사전분포를 사용하여 다변량 서브가우시안 결과로 확장하여, ESCB 정책의 계산적으로 비효율적인 대안을 제공하기 위해.
• CTS가 정보 이론적 하한선에 맞추어 다항로그 요소를 제외한 최적의 渐近적 감소를 달성함을 입증하기 위해.

제안 방법

• 독립적인 [0,1]-유계 결과에 대해 사용되는 베타 사전분포를 사용하는 조합적 톰슨 샘플링(CTS)의 변종을 제안한다.
• 예상 감소를 제한하기 위해 역분할 및 이벤트 필터링 기반의 새로운 분석 프레임워크를 도입한다.
• 다변량 서브가우시안 결과를 모델링하기 위해 가우시안 사전분포에서 유도된 타원형 신뢰 영역을 사용한다.
• 최적 및 비최적 암이 간격이 작은 라운드에서 기여하는 감소를 제어하기 위해 역분할 기법을 적용한다.
• 간격이 작은 이벤트에서 필터링된 감소를 제한하기 위해 복합 보너스 분해를 활용한다.
• 신뢰 너비의 역함수를 사용하여 적분 근사와 꼬리 확률 제어를 통해 감소 경계를 유도한다.

실험 결과

연구 질문

• RQ1 톰슨 샘플링은 독립적인 결과를 가진 조합적 반반 밴드잇에서 최적의 渐近적 감소를 달성할 수 있는가?
• RQ2 베타 사전분포를 사용하는 CTS는 정보 이론적 하한선에 맞는 날카운 감소 경계를 제공하는가?
• RQ3 가우시안 사전분포를 사용하는 CTS는 다변량 서브가우시안 설정에서 최적의 감소를 달성하면서도 계산적으로 효율적인가?
• RQ4 CTS의 감소는 최적이지만 계산적으로 비효율적인 ESCB 정책과 비교해 어떻게 되는가?

주요 결과

• 독립적인 [0,1]-유계 결과에 대해, CTS는 베타 사전분포를 사용하여 O(n log T / Δ)의 감소 경계를 달성하며, 이는 정보 이론적 하한선에 대략적인 로그 요소를 제외한 최적의 수준을 유지한다.
• 다변량 서브가우시안 결과에 대해, CTS는 가우시안 사전분포를 사용하여 최적의 감소 척도를 달성하며, ESCB 정책의 계산적으로 효율적인 대안을 제공한다.
• 분석을 통해 CTS의 기대 감소는 ℓ₁-노름 오차에 대해 O(∑ᵢ βᵢ,ₜ / (m Δᵢ,ₘᵢₙ))로 상한선이 존재하며, βᵢ,ₜ는 신뢰 너비를 제어하기 위해 선택된다.
• 역분할 기법을 통해 간격이 작은 라운드에서의 감소 기여를 엄밀하게 제어함으로써 최소 간격 Δ에 대한 최적의 의존성을 확보한다.
• 복잡한 최적화가 필요 없이도 최적의 감소 척도를 달성하며, ESCB 정책과 달리 대규모 문제에 대해 실현 가능하다.