[논문 리뷰] Exploring $k$ out of Top $ρ$ Fraction of Arms in Stochastic Bandits

Wenbo Ren, Jia Liu외 1명|arXiv (Cornell University)|2018. 10. 28.

Advanced Bandit Algorithms Research인용 수 7

한 줄 요약

이 논문은 확률적 다익선 밴딧에서 PAC 보장을 갖는 상황에서 기대 수익의 상위 $\rho$ 분율 내에 속하는 $k$개의 암을 식별하는 새로운 분위수 탐색(QE) 프레임워크를 제안한다. 알려진 및 알려지지 않은 임계값에 대해 각각 알고리즘을 제안하며, 상수나 로그 인자 수준에서 샘플 복잡도가 최적화되어 있으며, 기존의 $k$-탐색 방법 대비 최대 $\rho n/k$의 감소를 달성한다.

ABSTRACT

This paper studies the problem of identifying any $k$ distinct arms among the top $ρ$ fraction (e.g., top 5\%) of arms from a finite or infinite set with a probably approximately correct (PAC) tolerance $ε$. We consider two cases: (i) when the threshold of the top arms' expected rewards is known and (ii) when it is unknown. We prove lower bounds for the four variants (finite or infinite arms, and known or unknown threshold), and propose algorithms for each. Two of these algorithms are shown to be sample complexity optimal (up to constant factors) and the other two are optimal up to a log factor. Results in this paper provide up to $ρn/k$ reductions compared with the "$k$-exploration" algorithms that focus on finding the (PAC) best $k$ arms out of $n$ arms. We also numerically show improvements over the state-of-the-art.

연구 동기 및 목표

• 큰 또는 무한한 암 집합에서 기존의 $k$-탐색의 한계를 해결하기 위해 절대적인 최상위 $k$개가 아닌 상위 분위수 내에 속하는 암을 식별하는 데 초점을 맞춘다.
• 암 총수 $n$에 대한 샘플 복잡도 의존도를 줄이기 위해 $k/\rho$로 대체함으로써 대규모 응용 분야에서의 확장성을 높인다.
• 알려진 및 알려지지 않은 임계값 조건 하에서 유한 및 무한 암 집합에 대해 PAC 내성 $\epsilon$ 하에서 순수 탐색 문제를 연구한다.
• 이론적 하한을 도출하고, 이 하한에 근접하거나 이를 충족하는 샘플 복잡도를 갖는 알고리즘을 설계한다.

제안 방법

• 기존의 $k$-탐색의 일반화로, 기대 수익의 상위 $\rho$ 분율 내에 속하는 $k$개의 암을 찾는 것을 목표로 하는 분위수 탐색(QE) 문제를 제안한다.
• 두 가지 알고리즘 변형을 도입한다: 알려진 임계값 $\lambda_\rho$에 적합한 CB-AL-Q-IK와 알려지지 않은 임계값에 적합한 CB-AL-Q-IU로, 신뢰구간과 암 제거 기법을 사용한다.
• 상위 및 하위 신뢰구간에 기반한 적응형 샘플링과 정제를 수행하는 CBB(신뢰구간 기반) 프레임워크를 활용한다.
• 상위 $\rho$ 분율의 임계값을 정의하기 위해 역누적분포함수 $\mathcal{F}^{-1}(\rho)$를 사용하여 분위수 기반의 암 선택을 가능하게 한다.
• 이중 단계 샘플링 전략을 적용한다: 첫 번째 단계에서는 암 평균을 높은 신뢰도로 추정하고, 두 번째 단계에서는 분위수 임계값 이하인 암을 제거한다.
• 알려지지 않은 임계값의 경우, 점진적으로 후보를 좁혀내는 데 사용되는 신뢰구간 기반 순차적 제거 절차(LE)를 사용한다.

실험 결과

연구 질문

• RQ1 기존의 상위 $k$개 암이 아닌 상위 $\rho$ 분율 내 암을 대상으로 함으로써 순수 탐색 밴딧의 샘플 복잡도를 줄일 수 있는가?
• RQ2 알려진 및 알려지지 않은 임계값 설정 하에서 상위 $\rho$ 분율 내 $k$개의 암을 식별하는 데 필요한 샘플 복잡도의 이론적 하한은 무엇인가?
• RQ3 제안된 알고리즘의 샘플 복잡도는 $n$, $k$, $\rho$, $\epsilon$ 에 대한 기존의 $k$-탐색 방법과 비교해 어떻게 되는가?
• RQ4 유한 및 무한 암 집합 모두에서 QE 프레임워크 하에서 샘플 복잡도 최적화(상수 또는 로그 인자 수준)를 달성할 수 있는가?

주요 결과

• 제안된 CB-AL-Q-IK 알고리즘은 알려진 임계값 하에서 유한 암 집합의 경우 샘플 복잡도가 상수 인자 수준에서 최적화된다.
• 알려지지 않은 임계값 하에서의 유한 암 집합의 경우, CB-AL-Q-IU는 샘플 복잡도가 $\log k$ 인자 수준에서 최적화된다.
• QE 문제의 샘플 복잡도는 기존의 $k$-탐색 대비 최대 $\rho n/k$ 만큼 감소하며, $\rho$가 작을수록 특히 유리하다.
• 수치적 결과는 CB-AL-Q-IK가 모든 테스트 설정에서 KL-LUCB를 능가하며, 특히 $\rho$가 작을 경우에 샘플 수가 크게 감소함을 보여준다.
• $\rho$가 작을 경우, 샘플 수가 $\delta$에 거의 영향을 받지 않으며, 이는 $\frac{1}{\rho}\log\frac{1}{\rho}$ 항이 $\log\frac{1}{\delta}$ 항을 지배하기 때문이다.
• 큰 $k$의 경우, CB-AL-Q-IU는 KL-LUCB의 $k\log^2 k$ 스케일링 대비 $k\log k$ 의존도 덕분에 명백한 이점이 있다.