[논문 리뷰] An Asymptotically Optimal Policy for Uniform Bandits of Unknown Support

Wesley Cowan, Michael N. Katehakis|arXiv (Cornell University)|2015. 05. 08.

Advanced Bandit Algorithms Research참고 문헌 42인용 수 19

한 줄 요약

이 논문은 지지역이 알려지지 않은 균일 분포를 가진 다수의 보드(arm) 밴딧 문제에 대해 渐近적으로 최적의 Upper Confidence Bound (UCB)-유형 정책을 제안한다. Kullback-Leibler 발산 제약 조건을 이용해 표본 평균을 확장함으로써, 정책은 이론적으로 유도된 하한선과 일치하는 최소한의 위험 증가율을 달성하며, Burnetas와 Katehakis(1996b)가 유도한 하한선과 일치한다. 또한 단기 및 장기 시간 범위에서의 효율성을 확인하는 유한한 수평선 위험 경계를 제공한다.

ABSTRACT

Consider the problem of a controller sampling sequentially from a finite number of $N \geq 2$ populations, specified by random variables $X^i_k$, $ i = 1,\ldots , N,$ and $k = 1, 2, \ldots$; where $X^i_k$ denotes the outcome from population $i$ the $k^{th}$ time it is sampled. It is assumed that for each fixed $i$, $\{ X^i_k \}_{k \geq 1}$ is a sequence of i.i.d. uniform random variables over some interval $[a_i, b_i]$, with the support (i.e., $a_i, b_i$) unknown to the controller. The objective is to have a policy $π$ for deciding, based on available data, from which of the $N$ populations to sample from at any time $n=1,2,\ldots$ so as to maximize the expected sum of outcomes of $n$ samples or equivalently to minimize the regret due to lack on information of the parameters $\{ a_i \}$ and $\{ b_i \}$. In this paper, we present a simple inflated sample mean (ISM) type policy that is asymptotically optimal in the sense of its regret achieving the asymptotic lower bound of Burnetas and Katehakis (1996). Additionally, finite horizon regret bounds are given.

연구 동기 및 목표

• i.i.d. 균일 밴딧의 지지역이 알려지지 않은 상황에서 위험를 최소화하는 순차적 샘플링 정책을 개발하는 것.
• Kullback-Leibler 발산에서 유도된 위험 증가율에 대한 이론적 하한선과 일치시킴으로써 渐近적 최적성을 달성하는 것.
• 단기 및 장기 시간 척도에서의 성능을 검증하기 위한 유한한 수평선 위험 경계를 제공하는 것.
• 분포 불확실성 기반의 확장된 표본 평균을 도입하여 UCB 프레임워크를 균일 밴딧으로 확장하는 것.

제안 방법

• 표본 평균을 확장한 방식으로 동작을 선택하는 UCB 유형 정책을 제안하며, 이는 KL-발산 제약 조건을 만족하는 분포 집합 위에서 기대값의 Supremum으로 정의된다.
• 색인 $ u^i(n,t) = \sup_{g \in \mathcal{F}} \left\{ \mu(g) : \mathbf{I}(\hat{f}^i_t, g) < \frac{\ln n}{t} \right\} $ 를 사용하며, 여기서 $ \hat{f}^i_t $ 는 밴딧 $ i $ 에서 $ t $ 개의 표본으로부터 추정된 경험 분포이다.
• Burnetas-Katehakis (BK) 프레임워크를 적용하여 위험에 대한 하한선을 도출한다: $ \mathbf{M}_{\text{BK}}(\{f_i\}) = \sum_{i:\mu_i \neq \mu^*} \frac{\Delta_i}{\inf_{g \in \mathcal{F}} \{ \mathbf{I}(f_i, g) : \mu(g) \geq \mu^* \}} $.
• 균일 분포의 측도 집중 현상에 기반하여 확률 부등식과 KL 발산 꼬리 경계를 활용하여 유한한 수평선 위험 경계를 수립한다.
• 기존 정책들($ \pi_{\text{KR}}, \pi_{\text{CHK}} $)과의 비교를 통해 수치 시뮬레이션을 실시하여 성능을 검증하며, 알려진 지지역이지만 알려지지 않은 지지역을 가진 여섯 개의 밴딧을 대상으로 한다.
• 위험 항목의 성장을 제어하기 위해 $ \sum_{t=3}^n \frac{1}{t} \sum_{s=1}^\infty t^{-1/s} (1-\alpha)^s \leq 30 + \frac{6}{\alpha^3} $ 라는 새로운 경계를 도입한다.

실험 결과

연구 질문

• RQ1 지지역이 알려지지 않은 균일 밴딧에 대해, 渐近적 최적성의 위험를 달성하는 UCB 스타일 정책을 설계할 수 있는가?
• RQ2 이러한 정책에 대해 가능한 가장 날카로운 유한한 수평선 위험 경계는 무엇인가?
• RQ3 이 정책은 단기 및 장기 시간 척도에서 기존의 UCB 및 KL 기반 정책과 비교해 성능가 어떻게 다른가?
• RQ4 표본 평균의 KL-발산 제약 조건에 따른 확장을 체계적으로 경계하여 최적 정책 수렴 보장이 가능한가?

주요 결과

• 제안된 정책 $ \pi_{\text{CK}} $ 는 渐近적 최적성을 달성하며, $ \lim_{n \to \infty} \frac{R_{\pi}(n)}{\ln n} = \mathbf{M}_{\text{BK}}(\{f_i\}) $ 를 만족하여 Burnetas와 Katehakis(1996b)가 유도한 이론적 하한선과 정확히 일치한다.
• 유한한 수평선 위험 경계가 확립되었으며, 이는 정책의 위험이 $ n $ 에 대해 로그 스케일로 증가함을 보여주며 실용적 효율성을 확인한다.
• 수치 시뮬레이션을 통해 $ \pi_{\text{CK}} $ 가 단기 및 장기 시간 척도에서 $ \pi_{\text{KR}} $ 와 $ \pi_{\text{CHK}} $ 를 뛰어넘는 성능을 보이며, 특히 초기 단계에서 두드러진 성능 향상을 보였다.
• 경계 $ \sum_{t=3}^n \frac{1}{t} \sum_{s=1}^\infty t^{-1/s} (1-\alpha)^s \leq 30 + \frac{6}{\alpha^3} $ 가 유도되었으며, 이는 위험 성장 제어에 사용되어 다양한 매개변수 설정 간의 균일성을 보장한다.
• KL-발산 제약 조건에 기반한 평균 확장을 통한 정책 설계는 가장 나쁜 경우의 분포 불확실성에 기반한 탐색을 이끌어내어 강건하고 효율적인 샘플링을 가능하게 한다.