[논문 리뷰] A minimax and asymptotically optimal algorithm for stochastic bandits

Pierre Ménard, Aurélien Garivier|arXiv (Cornell University)|2017. 02. 23.

Advanced Bandit Algorithms Research인용 수 72

한 줄 요약

논문은 지수 가족 분포를 갖는 확률적 밴디트에 대한 kl-UC B++ 알고리즘을 도입하고, 이것이 최소-극대최적(minimax) 및 점근적으로 최적임을 증명하며 두 시간 최적성 개념을 통합한다.

ABSTRACT

We propose the kl-UCB ++ algorithm for regret minimization in stochastic bandit models with exponential families of distributions. We prove that it is simultaneously asymptotically optimal (in the sense of Lai and Robbins' lower bound) and minimax optimal. This is the first algorithm proved to enjoy these two properties at the same time. This work thus merges two different lines of research with simple and clear proofs.

연구 동기 및 목표

• 확률적 밴디트에서 동시에 minimax- 및 점근적으로 최적인 알고리즘의 필요성을 동기 부여한다.
• 지수 가족 분포를 활용하여 kl-UC B++ 알고리즘을 개발하고 분석한다.
• 두 가지 시간 최적성 개념을 조화시키는 엄밀한 유한 시간 및 점근적 후회 보장을 제공한다.
• 밴디트 후회 분석을 위한 새로운 편차 부등식과 함께 통합되고 간단한 증명 프레임워크를 제시한다.

제안 방법

• 다음 탐색 함수 g(n)로 kl-UC B++를 정의한다: g(n) = log_plus( (T/(Kn)) (log_plus^2(T/(Kn)) + 1) ).
• KL 발산 제약을 통해 정의된 상한 신뢰 구간 U_a(t)를 사용한다: U_a(t) = sup{ mu in I : kl( mu_hat_a(t), mu ) <= g(N_a(t))/N_a(t) }.
• 평균 구간 [mu-, mu+]이 한정되고 균일 분산 상수 V를 갖는 지수 가족 가정을 기반으로 분석한다.
• 최솟값-최대값 최적성: R_T ≤ 76 sqrt(V K T) + (mu^+ − mu^-) K 를 증명한다.
• 점근적 최적성: 각 비최적 팔 a에 대해 적절한 delta에 대해, E[N_a(T)] ≤ log(T)/kl(mu_a+delta, mu^*−delta) + lower-order terms.

실험 결과

연구 질문

• RQ1 확률-족 밴디트에 대해 하나의 밴디트 알고리즘이 minimax와 문제 의존적(점근적) 최적성을 모두 달성할 수 있는가?
• RQ2 탐색을 어떻게 조절하여 최악의 경우의 후회를 최소화하고 문제 의존적 후회 속도를 정확히 달성할 수 있는가?
• RQ3 KL 기반 UCB 전략이 분포의 가족에 대해 균일한 후회 보장을 제공하도록 확장될 수 있는가(유한 분산의 경계 포함)?
• RQ4 Bernoulli/ Gaussian(및 기타) 지수 가족에서 kl-UC B++의 정확한 유한 시간 후회 경계와 점근적 특성은 무엇인가?

주요 결과

• kl-UC B++ 알고리즘은 지수 가족 밴디트에 대해 최소-극대 최적 및 점근적으로 최적의 후회를 달성한다.
• 유한 시간 후회 경계가 확립된다: R_T ≤ 76 sqrt(V K T) + (mu^+ − mu^-) K.
• 어떤 비최적 팔 a와 적절한 delta에 대해, E[N_a(T)] ≤ log(T)/kl(mu_a+delta, mu^*−delta) + O(log log T / delta^2).
• 해당 분석은 지수 가족 프레임워크 내에서 Bernoulli 및 Gaussian 사례를 특수한 예로 다룬다.
• 탐색 속도를 조정함으로써 MOSS와 KL-UCB에 대한 선행 연구를 합치고, 단순하고 통합된 증명 구조를 제공하는 접근법이다.