[논문 리뷰] Asymptotically Optimal Sequential Experimentation Under Generalized Ranking

Wesley Cowan, Michael N. Katehakis|arXiv (Cornell University)|2015. 10. 07.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 4

한 줄 요약

이 논문은 평균 기반 최적화를 초월하여 임의의 점수 기능을 갖는 다수의 레버리지 문제에서 순차적 실험을 위한 일반화된 프레임워크를 제안한다. 이는 비최적 선택의 수에 대한 渐近적 하한을 확립하고, 특정 신뢰 구간을 갖는 UCB 기반 정책이 미묘한 정규성 조건 하에서 이 하한을 달성함으로써 파레토, 균일, 정규 분포에 대해 점근적 최적성을 보장한다.

ABSTRACT

We consider the \mnk{classical} problem of a controller activating (or sampling) sequentially from a finite number of $N \geq 2$ populations, specified by unknown distributions. Over some time horizon, at each time $n = 1, 2, \ldots$, the controller wishes to select a population to sample, with the goal of sampling from a population that optimizes some "score" function of its distribution, e.g., maximizing the expected sum of outcomes or minimizing variability. We define a class of extit{Uniformly Fast (UF)} sampling policies and show, under mild regularity conditions, that there is an asymptotic lower bound for the expected total number of sub-optimal population activations. Then, we provide sufficient conditions under which a UCB policy is UF and asymptotically optimal, since it attains this lower bound. Explicit solutions are provided for a number of examples of interest, including general score functionals on unconstrained Pareto distributions (of potentially infinite mean), and uniform distributions of unknown support. Additional results on bandits of Normal distributions are also provided.

연구 동기 및 목표

• 모수적 분포가 알려져 있지 않은 N개의 집단으로부터의 순차적 샘플링 문제를 다루며, 최적 선택이 기대값이 아닌 일반화된 점수 기능에 의해 정의될 때의 과제를 해결한다.
• 모든 균일하게 빠른(UF) 정책에 대해 비최적 활성화의 기대값에 대한 이론적 하한을 확립한다.
• UCB 유형의 정책이 이 하한을 달성할 수 있는 충분조건을 규명하여 점근적 최적성을 증명한다.
• 중심극한정리의 적용이 어려운 무거운 尾尾 분포 또는 기대값이 무한대인 분포(예: 알려지지 않은 지지역간의 균일 분포, 파레토 분포)에 대한 밴딧 알고리즘의 적용 범위를 확장한다.
• 실제 적용을 위한 명시적 해와 유한한 수평선 하한을 다양한 분포 가족과 점수 기능에 대해 제공한다.

제안 방법

• 비최적 활성화 수가 시간에 따라 다항식보다 느리게 증가하는 것을 보장하는 균일하게 빠른(UF) 샘플링 정책의 클래스를 도입한다.
• Kullback-Leibler 발산과 점수 기능의 경험적 추정치를 기반으로 한 신뢰 구간을 사용하여 UCB-$(\mathcal{F},s,\tilde{d})$ 정책을 정의한다.
• 비최적 분포와 최적 분포 간의 발산을 기반으로 비최적 활성화의 기대값에 대한 일반적인 점근적 하한을 확립한다.
• 통계적 분리 정도를 측정하고 신뢰 구간을 유도하기 위해 Kullback-Leibler 정보 발산 $\mathbf{I}(f,g)$ 를 메트릭으로 사용한다.
• UCB 정책이 점근적 하한을 달성함을 보이기 위해, 점수 기능과 분포 가족에 대한 미묘한 정규성 조건을 만족하는 R-조건들(R1′, R2′, R3′)을 적용한다.
• 특정 모델(정규, 파레토, 균일 분포 포함)에 대해 UCB 정책 하에서 비최적 뽑기의 기대값에 대한 명시적 점근적 표현을 유도한다.

실험 결과

연구 질문

• RQ1 최적의 레버리지가 평균이 아닌 일반화된 점수 기능에 의해 정의될 때, 순차적 실험에서 비최적 활성화의 수에 대한 기본 한계는 무엇인가?
• RQ2 어떤 조건 하에서 UCB 기반 정책이 이 기본 하한을 달성할 수 있으며, 점근적 최적성을 보장할 수 있는가?
• RQ3 점수 기능이 평균이 아닐 경우, 예를 들어 기대값이 무한대인 파레토 분포에서 비최적 샘플링의 점근적 행동은 어떻게 변화하는가?
• RQ4 모르는 지지역간의 균일 분포와 같은 분포를 다룰 수 있도록 UCB 프레임워크를 확장할 수 있는가?
• RQ5 정규 밴딧에서 점수 기능이 尾尾 확률 $\mathbb{P}(X \geq \kappa)$ 일 때, UCB 정책의 비최적 뽑기의 정확한 점근적 비율은 무엇인가?

주요 결과

• 모든 UF 정책에 대해 비최적 활성화의 기대값은 $n$의 어떤 양의 거듭제곱보다 느리게 증가하므로, 성능의 기준선을 확립한다.
• 비최적 활성화의 기대값에 대한 점근적 하한이 유도되었으며, 이는 최적 및 비최적 분포 간의 Kullback-Leibler 발산에 따라 달라진다.
• 점수 기능 $s_{\kappa}(f) = \mathbb{P}(X \geq \kappa)$ 를 갖는 정규 밴딧 모델에 대한 UCB 정책 $\pi^{*}_{\kappa}$ 는 유도된 하한을 달성하여 점근적 최적성을 확보한다.
• 임계값 기반 점수 기능을 갖는 정규 밴딧 모델에서 비최적 뽑기의 점근적 비율은 $\lim_{n \to \infty} \frac{\mathbb{E}[T^{i}_{\pi^{*}_{\kappa}}(n)]}{\ln n} = \frac{2}{\left(\frac{\kappa - \mu_i}{\sigma_i} - \Phi^{-1}(1 - s^*) \right)^2}$ 이다.
• R-조건을 만족함으로써 정책이 점근적으로 최적임을 증명하였으며, KL 발산과 정규 근사법을 사용하여 연속성, 집중도, 꼬리 확률의 하한을 검증하였다.
• 이 프레임워크는 파레토, 균일, 정규 분포에 적용 가능하며, 실용적 사용을 위한 명시적 점근적 표현과 유한한 수평선 하한을 제공한다.