[논문 리뷰] KL-UCB-switch: optimal regret bounds for stochastic bandits from both a distribution-dependent and a distribution-free viewpoints

Aurélien Garivier, Hédi Hadiji외 2명|arXiv (Cornell University)|2018. 05. 14.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 15

한 줄 요약

이 논문은 보상이 [0,1]에 속하는 스토케스틱 다익정 다리드 밴딧 문제에서 분포에 의존하는 설정과 분포에 무관한 설정 양쪽 모두에서 최적의 리그레트 한계를 同시로 달성하는 새로운 밴딧 알고리즘 KL-UCB-Switch를 제안한다. MOSS의 분포에 무관한 최적성과 KL-UCB의 분포에 의존하는 최적성을 결합함으로써, 알려진 바 중 가장 날카로운 리그레트 한계를 달성한다: 최악의 분포에 대해서는 $\sqrt{KT}$, 문제에 특화된 최적성에 대해서는 $\kappa\ln T$이며, 비모수 밴딧 이론에서 오랫동안 열려 있던 문제를 해결한다.

ABSTRACT

We consider $K$-armed stochastic bandits and consider cumulative regret bounds up to time $T$. We are interested in strategies achieving simultaneously a distribution-free regret bound of optimal order $\sqrt{KT}$ and a distribution-dependent regret that is asymptotically optimal, that is, matching the $κ\ln T$ lower bound by Lai and Robbins (1985) and Burnetas and Katehakis (1996), where $κ$ is the optimal problem-dependent constant. This constant $κ$ depends on the model $\mathcal{D}$ considered (the family of possible distributions over the arms). Ménard and Garivier (2017) provided strategies achieving such a bi-optimality in the parametric case of models given by one-dimensional exponential families, while Lattimore (2016, 2018) did so for the family of (sub)Gaussian distributions with variance less than $1$. We extend this result to the non-parametric case of all distributions over $[0,1]$. We do so by combining the MOSS strategy by Audibert and Bubeck (2009), which enjoys a distribution-free regret bound of optimal order $\sqrt{KT}$, and the KL-UCB strategy by Cappé et al. (2013), for which we provide in passing the first analysis of an optimal distribution-dependent $κ\ln T$ regret bound in the model of all distributions over $[0,1]$. We were able to obtain this non-parametric bi-optimality result while working hard to streamline the proofs (of previously known regret bounds and thus of the new analyses carried out); a second merit of the present contribution is therefore to provide a review of proofs of classical regret bounds for index-based strategies for $K$-armed stochastic bandits.

연구 동기 및 목표

• 스토케스틱 밴딧 문제에서 분포에 의존하는 설정과 분포에 무관한 설정 양쪽 모두에서 최적의 리그레트를 달성하는 밴딧 알고리즘을 설계하는 것.
• 이전에 지수족이나 서브가우시안 분포와 같은 파rametric 모델에 국한되어 있던 이중 최적 전략을, [0,1]에 값을 갖는 모든 분포의 비모수적 경우로 확장하는 것.
• MOSS(최적의 분포에 무관한 리그레트)와 KL-UCB(최적의 渐近적 리그레트)의 장점을 하나의 적응 전략으로 통합하는 것.
• 색인 기반 밴딧 정책에 대한 고전적 리그레트 한계를 단순화하고 재정립하여, 더 명확하고 통합적인 이론적 기초를 제공하는 것.

제안 방법

• 탐색과 이용의 균형을 위해 신뢰도 기반의 스위칭 전략을 도입하여 MOSS와 KL-UCB 사이를 전환하는 방법을 제안한다.
• KL-UCB 구성요소에서 칼리브-라이블레르 발산을 사용하여 상한 신뢰도를 구성함으로써, 분포에 의존하는 설정에서 渐近적 최적성을 보장한다.
• MOSS 전략의 신뢰도 간격 스케일링을 활용하여 최적의 $\\sqrt{KT}$ 분포에 무관한 리그레트 한계를 달성한다.
• 모든 [0,1]-값을 갖는 분포의 비모수적 모델에서 KL-UCB의 리그레트에 대한 새로운 분석을 도입하여, 이 설정에서 처음으로 최적의 $\kappa\\ln T$ 분포에 의존하는 한계를 증명한다.
• 변분 표현과 라돈-니코다임 미분을 사용하여 유도된 전략의 최적성을 증명한다.
• 색인 정책에 대한 고전적 리그레트 증명을 자가 포함된 리뷰와 단순화를 통해 제공하여 명확성과 접근성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비모수적 모델에서 [0,1]에 값을 갖는 모든 분포에 대해, 단일 밴딧 알고리즘이 분포에 의존하는 설정과 분포에 무관한 설정 양쪽 모두에서 최적의 리그레트 한계를 달성할 수 있는가?
• RQ2 MOSS(최적의 최대리그레트)와 KL-UCB(최적의 渐近적 리그레트)의 장점을 하나의 적응 전략으로 통합할 수 있는가?
• RQ3 비모수적 모델에서 [0,1]에 값을 갖는 모든 분포에 대해, 최악의 상황과 문제에 특화된 설정에서 달성 가능한 가장 날카로운 리그레트 한계는 무엇인가?
• RQ4 색인 정책에 대한 고전적 리그레트 분석은 하나의 이론적 프레임워크 아래에서 단순화되고 통합될 수 있는가?
• RQ5 KL 발산과 지수 기울임은 비모수적 밴딧에서 분포에 의존하는 최적성을 달성하는 데 어떤 역할을 하는가?

주요 결과

• KL-UCB-Switch 알고리즘은 순서 $\\sqrt{KT}$의 분포에 무관한 리그레트 한계를 달성하며, 이는 상수 인자 외에는 최적이며 최적이다.
• 동시에 순서 $\kappa\\ln T$의 분포에 의존하는 리그레트 한계를 달성하여, Lai와 Robbins(1985) 및 Burnetas와 Katehakis(1996)가 수립한 渐近적 하한과 일치한다.
• 이 이중 최적성은 [0,1]에 값을 갖는 모든 분포의 비모수적 모델에서 처음으로 입증되었으며, 이전에 파arametric 가족에 국한된 결과들을 확장한다.
• 논문은 비모수적 설정에서 KL-UCB의 리그레트에 대한 처음으로 유한 시간 분석을 제공하며, 분포에 의존하는 설정에서의 최적성을 증명한다.
• 이론적 분석은 단순화되어 있으며, 색인 정책에 대한 고전적 리그레트 한계의 더 명확하고 통합된 유도를 제공한다.
• 변분 표현을 통해 KL 발산의 최적성을 증명하였으며, 라돈-니코다임 미분과 젠센의 부등식을 통해 엄밀한 정당성을 확보하였다.