[논문 리뷰] Fixed-Confidence Guarantees for Bayesian Best-Arm Identification

Xuedong Shang, Rianne de Heide외 3명|arXiv (Cornell University)|2019. 10. 24.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 5

한 줄 요약

이 논문은 가우시안 보상 하에서 베이지안 고정신뢰도 최적 암집합 프레임워크에서, 계산적으로 효율적인 Top-Two Thompson Sampling (TTTS)의 변종인 Top-Two Transportation Cost (T3C)를 소개하고, TTTS 및 T3C에 대한 첫 번째 샘플 복잡도 분석을 제공한다. 이는 Russo(2016)가 제기한 열린 질문을 해결하며, δ-정확성과 최적의 사후 수렴을 입증한다.

ABSTRACT

We investigate and provide new insights on the sampling rule called Top-Two Thompson Sampling (TTTS). In particular, we justify its use for fixed-confidence best-arm identification. We further propose a variant of TTTS called Top-Two Transportation Cost (T3C), which disposes of the computational burden of TTTS. As our main contribution, we provide the first sample complexity analysis of TTTS and T3C when coupled with a very natural Bayesian stopping rule, for bandits with Gaussian rewards, solving one of the open questions raised by Russo (2016). We also provide new posterior convergence results for TTTS under two models that are commonly used in practice: bandits with Gaussian and Bernoulli rewards and conjugate priors.

연구 동기 및 목표

• 고정신뢰도 최적 암집합 설정에서 Top-Two Thompson Sampling (TTTS)의 이론적 샘플 복잡도에 관해 Russo(2016)가 제기한 열린 질문을 해결하기 위해.
• 계산 비용을 줄이면서도 이론적 보장을 유지하는 새로운 베이지안 샘플링 규칙인 Top-Two Transportation Cost (T3C)를 제안하기 위해.
• 가우시안 밴디트에서 자연스러운 베이지안 정지 규칙과 결합된 TTTS 및 T3C에 대해 δ-정확성과 최적의 사후 수렴을 확립하기 위해.
• 고정신뢰도 BAI 설정에서 언제든지 사용 가능한 베이지안 샘플링 규칙에 대한 첫 번째 엄밀한 샘플 복잡도 분석을 제공하기 위해.
• 손실 최소화 알고리즘을 초월해, 베이지안 최적 암집합에서 사후 집중과 탐색 효율성에 대한 이론적 이해를 확장하기 위해.

제안 방법

• 샘플링 메커니즘을 운반 비용 기반 선택 전략으로 대체하여, TTTS보다 계산적으로 가벼운 T3C를 제안한다.
• 고정신뢰도 설정에서 δ-정확성을 보장하기 위해 사후 확률 임계값 기반의 베이지안 정지 규칙을 적용한다.
• 대부분의 큰 편차 이론과 Kullback-Leibler 발산 한계를 활용하여 샘플 복잡도를 분석하며, 특히 사후 尾 확률 추정에 대해 Beta-Binomial 기법을 활용한다.
• KL 발산과 사후 집중을 이용해 잘못된 추천 확률의 경계를 유도하며, 위험 매개변수 δ에 대해 지수적으로 감소함을 증명한다.
• 적분 by parts와 infimum 기반 KL 발산 최소화를 적용하여 오류 확률의 날카운 상한 경계를 도출한다.
• TTTS 및 T3C 하에서 진짜 최적 암 선택의 사후 확률이 거의 확실히 1로 수렴함을 입증하며, 이는 최적 속도를 따른다.

실험 결과

연구 질문

• RQ1 Top-Two Thompson Sampling (TTTS)는 고정신뢰도 최적 암집합 설정에서 최적의 샘플 복잡도를 달성하는가?
• RQ2 TTTS의 계산적으로 효율적인 변종, 예를 들어 T3C는 계산 오버헤드를 줄이면서도 이론적 보장을 유지할 수 있는가?
• RQ3 가우시안 밴디트에서 자연스러운 베이지안 정지 규칙과 결합된 TTTS 및 T3C의 샘플 복잡도는 무엇인가?
• RQ4 TTTS 및 T3C 하에서 진짜 최적 암 선택의 사후 확률은 얼마나 빨리 1로 수렴하는가?
• RQ5 TTTS의 이론적 보장은 고정신뢰도 BAI 프레임워크에서 더 넓은 범위의 베이지안 샘플링 규칙로 확장될 수 있는가?

주요 결과

• 이 논문은 고정신뢰도 최적 암집합 설정에서 TTTS에 대한 첫 번째 샘플 복잡도 분석을 제공하며, 이는 로그 인자까지 최적의 샘플 복잡도를 달성함을 입증한다.
• T3C는 δ-정확성임이 입증되었으며, TTTS와 동일한 渐近 샘플 복잡도를 달성하지만, 계산 비용은 크게 감소한다.
• TTTS 및 T3C 하에서 진짜 최적 암 선택의 사후 확률이 거의 확실히 최적 속도로 1로 수렴한다.
• 가우시안 밴디트의 경우, 제안된 베이지안 정지 규칙은 기대 샘플 복잡도가 이론적 하한선에 로그 항까지 일치하며 δ-정확성을 보장한다.
• 분석을 통해 오류 확률이 위험 매개변수 δ에 대해 지수적으로 감소하며, 이는 임계 간격에서 KL 발산의 합의 infimum에 의해 결정됨을 입증한다.
• 이론적 경계는 잘못된 추천의 확률이 분리된 암 평균 간 거리와 관련된 상수 C에 대해 exp(−C)로 감소하는 항으로 상한이 있음을 보여주며, 강력한 신뢰도 보장을 확인한다.