[논문 리뷰] A Finite-Time Analysis of Multi-armed Bandits Problems with Kullback-Leibler Divergences

Odalric-Ambrym Maillard, Rémi Munos외 1명|arXiv (Cornell University)|2011. 05. 29.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 121

한 줄 요약

이 논문은 유한 지지 분포에 대해 Kullback-Leibler (KL) 기반 다수의 손잡이 밴딧 알고리즘에 대한 유한 시간 분석을 제시하며, 渐近적으로 최적의 손실 한계를 달성한다. 이 방법은 KL 발산을 사용하여 탐색과 이용의 균형을 맞추며, 분석 결과 UCB 유형 알고리즘보다 더 날카운 유한 시간 손실 한계를 도출한다. 주요 항목은 Burnetas와 Katehakis(1996)의 渐近 하한과 일치한다.

ABSTRACT

We consider a Kullback-Leibler-based algorithm for the stochastic multi-armed bandit problem in the case of distributions with finite supports (not necessarily known beforehand), whose asymptotic regret matches the lower bound of \cite{Burnetas96}. Our contribution is to provide a finite-time analysis of this algorithm; we get bounds whose main terms are smaller than the ones of previously known algorithms with finite-time analyses (like UCB-type algorithms).

연구 동기 및 목표

• KL 발산 기반 밴딧 알고리즘에 대한 유한 시간 손실 분석을 제공하여 渐近적으로 최적의 성능를 달성한다.
• 스토케스틱 다수의 손잡이 밴딧에서 渐近 최적성과 유한 시간 성능 사이의 격차를 메운다.
• KL 발산과 K-inf 發산 측도를 활용하여 기존 UCB 유형 알고리즘의 유한 시간 한계를 향상시킨다.
• 하위 최적 손잡이의 기대적 뽑기 횟수가 로그 항목을 제외한 渐近 하한과 일치함을 입증한다.
• 유한 지지 분포, 특히 사전에 지지가 알려지지 않은 경우를 포함한 분포로 분석을 확장한다.

제안 방법

• 알고리즘은 각 손잡이 분포와 최적 분포 사이의 Kullback-Leibler 발산을 사용하여 탐색-이용 균형을 이끌어낸다.
• 평균이 적어도 μ* 이상인 분포들에 대한 KL 발산의 하한을 정의하며, 이를 $\mathcal{K}_{\inf}(\nu_a, \mu^*)$로 표기한다.
• Sanov의 정리와 유형 방법을 적용하여 하위 최적 손잡이의 경험 평균이 진짜 평균에서 벗어나는 확률을 제한한다.
• 핵심 단계로, 하위 최적 손잡이의 경험 평균이 임계값을 초과할 확률의 지수 尾確率를 함수 $\theta_a(\gamma)$를 사용해 제한한다. 이 함수는 평균이 적어도 $\mu^*$ 이상인 분포들로의 KL 발산의 하한으로 정의된다.
• 비 渐진적 Sanov의 정리를 적용하여 편차 확률를 제어하고, 이를 통해 유한 시간 집중 한계를 확보한다.
• 증명은 $\theta_a(\gamma_k)$가 임계값을 초과하는 $k$에 대해 0에서 멀리 떨어져 있음을 보여주며, 이는 손실 한계의 尾確率 합의 기하급수적 감소를 가능하게 한다.

실험 결과

연구 질문

• RQ1 KL 기반 밴딧 알고리즘이 유한 지지 분포에 대해 Burnetas와 Katehakis(1996)의 渐近 하한과 일치하는 유한 시간 손실 한계를 달성할 수 있는가?
• RQ2 UCB 유형 알고리즘과 비교할 때 $\mathcal{K}_{\inf}$-기반 알고리즘의 유한 시간 성능은 손실의 승수 상수 측면에서 어떻게 다른가?
• RQ3 $\theta_a(\gamma)$ 함수가 양수이면서 0에서 멀리 떨어져 유지되는 조건은 무엇이며, 이는 尾확률의 지수 감소를 보장하는가?
• RQ4 유형 방법과 비 渐진적 Sanov의 정리를 사용하여 KL 기반 밴딧 전략에 대한 유한 시간 한계를 효과적으로 유도할 수 있는가?
• RQ5 이 분석을 일반적인(유한 지지가 없는) 분포로 확장할 때의 한계는 무엇인가?

주요 결과

• 알고리즘은 주요 항목이 Burnetas와 Katehakis(1996)의 渐近 하한과 일치하는 유한 시간 손실 한계를 달성한다. 하위 최적 손잡이 $a$의 뽑기 횟수에 대해 $\mathbb{E}[N_T(a)] \leq \left(\frac{1}{\mathcal{K}_{\inf}(\nu_a, \mu^*)} + o(1)\right)\log T$ 를 만족한다.
• 손실 한계의 주요 항목은 UCB 유형 알고리즘보다 작다. UCB는 $\Delta_a^{-2}$ 의 의존성을 가지나, 이 방법은 일반적으로 더 큰 $\mathcal{K}_{\inf}(\nu_a, \mu^*)$ 의 의존성을 가지며, 더 날카운 한계를 이끈다.
• 분석은 $k$가 임계값 $k_0$를 초과할 경우 $\theta_a(\gamma_k)$ 가 0에서 멀리 떨어져 있음을 증명하며, 이는 손실 기여의 尾확률 합의 기하급수적 감소를 보장한다.
• 합 $\sum_{k=1}^{T-|\mathcal{A}|} e^{-k\theta_a(\gamma_k)}$ 에 대한 유한 상한을 확립하며, 이는 하위 최적 손잡이의 뽑기 확률 제어에 핵심적이다.
• 증명은 Pinsker의 부등식과 $\mathcal{K}_{\inf}$ 발산의 정교한 분석을 기반으로 하며, $\gamma_k < \mathcal{K}_{\inf}(\nu_a, \mu^*)$ 일 경우 $\theta_a(\gamma_k)$ 가 0에서 멀리 떨어져 있음을 보여준다.
• 분석은 지지가 유한한 분포, 특히 지지가 사전에 알려지지 않은 경우를 포함하여 유효하며, 이러한 조건 하에서도 방법은 강인하다.