[논문 리뷰] Efficient-UCBV: An Almost Optimal Algorithm using Variance Estimates

Subhojyoti Mukherjee, K. P. Naveen외 2명|arXiv (Cornell University)|2017. 11. 09.

Advanced Bandit Algorithms Research인용 수 16

한 줄 요약

이 논문은 분산 추정과 암 제거를 통합하여 near-optimal regret bound를 달성하는 효율적인 UCB 기반 알고리즘인 EUCBV를 제안한다. 분산 인식(confidence bounds)과 적극적인 탐색, 비균일한 암 선택 전략을 조합함으로써 EUCBV는 $O(\sqrt{KT})$의 갭-독립적 regret과 $O\left(\frac{K\sigma^{2}_{\text{max}}\log(T\Delta^{2}/K)}{\Delta}\right)$의 갭-의존적 regret을 달성하며, 광범위한 실험에서 UCB1, UCBV, MOSS, OCUCB를 모두 능가한다.

ABSTRACT

We propose a novel variant of the UCB algorithm (referred to as Efficient-UCB-Variance (EUCBV)) for minimizing cumulative regret in the stochastic multi-armed bandit (MAB) setting. EUCBV incorporates the arm elimination strategy proposed in UCB-Improved \citep{auer2010ucb}, while taking into account the variance estimates to compute the arms' confidence bounds, similar to UCBV \citep{audibert2009exploration}. Through a theoretical analysis we establish that EUCBV incurs a \emph{gap-dependent} regret bound of {\scriptsize $O\left( \dfrac{Kσ^2_{\max} \log (TΔ^2 /K)}Δ ight)$} after $T$ trials, where $Δ$ is the minimal gap between optimal and sub-optimal arms; the above bound is an improvement over that of existing state-of-the-art UCB algorithms (such as UCB1, UCB-Improved, UCBV, MOSS). Further, EUCBV incurs a \emph{gap-independent} regret bound of {\scriptsize $O\left(\sqrt{KT} ight)$} which is an improvement over that of UCB1, UCBV and UCB-Improved, while being comparable with that of MOSS and OCUCB. Through an extensive numerical study we show that EUCBV significantly outperforms the popular UCB variants (like MOSS, OCUCB, etc.) as well as Thompson sampling and Bayes-UCB algorithms.

연구 동기 및 목표

• 스토케스틱 다항 밴딧 문제에서 누적 regret을 최소화하는 밴딧 알고리즘을 개발하는 것.
• 신뢰 구간에 분산 추정을 통합하여 기존 UCB 변종을 향상시키는 것.
• 순서적으로 최적 또는 near-optimal인 갭-의존적 및 갭-독립적 regret bound를 달성하는 것.
• 다양한 실험 환경에서 MOSS, OCUCB, 톰슨 샘플링과 같은 최신 기술보다 뛰어난 성능을 내는 것.
• 장기적인 시간 간격과 높은 분산을 가진 최적의 암에서 잘 작동하는 안정적이고 분산 인식 알고리즘을 설계하는 것.

제안 방법

• EUCBV는 UCBV와 유사하게 분산 추정을 사용하여 각 암의 더 좁은 신뢰 구간을 계산한다.
• UCB-Improved의 암 제거 전략을 적용하여 탐색 라운드 후 비최적의 암을 제거한다.
• 분산과 신뢰 구간에 기반한 비균일한 암 선택 전략을 사용하여 불확실성이 높고 보다 높은 보상 잠재력을 가진 암을 우선순위로 삼는다.
• 적극적인 탐색 파rameter와 분산 인식 신뢰 구간을 조합하여 비최적의 암 제거를 가속화한다.
• 신뢰 구간은 각 암의 경험적 평균과 경험적 분산을 모두 포함한다.
• 알고리즘은 $T$를 입력으로 요구하며, $T \geq K^{2.4}$일 때 최적의 regret을 달성하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 분산 추정을 UCB 스타일 알고리즘에 효과적으로 통합하여 regret bound를 향상시킬 수 있는가?
• RQ2 암 제거와 분산 인식 신뢰 구간을 조합하면 기존 최신 기술보다 더 나은 실험적 성능을 낼 수 있는가?
• RQ3 UCB 변종이 UCB1과 UCBV에 비해 순서적으로 최적의 갭-독립적 regret과 향상된 갭-의존적 regret을 달성할 수 있는가?
• RQ4 작은 갭과 높은 분산을 가진 최적의 암이 존재하는 환경에서 EUCBV는 어떤 성능을 보이는가? 이는 베이지안 방법이 실패할 수 있는 상황이다.
• RQ5 장기적 시간 간격과 많은 암이 존재하는 환경에서 EUCBV는 톰슨 샘플링과 베이지안-UCB보다 더 안정적이고 확장 가능한가?

주요 결과

• EUCBV는 $O(\sqrt{KT})$의 갭-독립적 regret bound를 달성하여 MOSS와 OCUCB의 최고 수준의 bound와 일치한다.
• 그 갭-의존적 regret bound는 $O\left(\frac{K\sigma^{2}_{\text{max}}\log(T\Delta^{2}/K)}{\Delta}\right)$이며, UCB1, UCBV, UCB-Improved보다 향상되었다.
• 100개의 암과 높은 분산을 가진 최적의 암이 존재하는 실험에서 EUCBV는 TS-G, BU-G, UCBV, MOSS, OCUCB를 모두 크게 앞섰다.
• 적극적인 탐색과 비균일한 암 선택 전략 덕분에 EUCBV는 UCBV와 같은 분산 인식 알고리즘보다도 뛰어난 성능을 보였다.
• 세 가지 분산 그룹이 존재하는 균일한 갭 설정에서 EUCBV는 TS-G, MOSS, BU-G, OCUCB, UCBV보다 훨씬 느린 regret 증가를 보였다.
• 베이지안 알고리즘인 TS-G와 BU-G는 높은 분산을 가진 최적의 암 상황에서 실패했지만, EUCBV는 안정적이고 효과적으로 작동했다.