[논문 리뷰] Practical Algorithms for Best-K Identification in Multi-Armed Bandits

Haotian Jiang, Jian Li외 1명|arXiv (Cornell University)|2017. 05. 19.

Advanced Bandit Algorithms Research참고 문헌 2인용 수 8

한 줄 요약

이 논문은 유한한 시간 범위의 반복 로그 법칙(LIL) 신뢰 구간을 활용하여 샘플 복잡도가 거의 최적에 가까운 두 가지 실용적인 알고리즘, lil'RandLUCB와 lil'CLUCB를 제안한다. 이 알고리즘들은 Best-K 식별 문제에 대해 이론적 하한값에 로그 인자 수준에서 근접하며, 특히 암수의 수가 증가할수록 기존 방법들보다 뛰어난 실용적 성능을 보인다.

ABSTRACT

In the Best-$K$ identification problem (Best-$K$-Arm), we are given $N$ stochastic bandit arms with unknown reward distributions. Our goal is to identify the $K$ arms with the largest means with high confidence, by drawing samples from the arms adaptively. This problem is motivated by various practical applications and has attracted considerable attention in the past decade. In this paper, we propose new practical algorithms for the Best-$K$-Arm problem, which have nearly optimal sample complexity bounds (matching the lower bound up to logarithmic factors) and outperform the state-of-the-art algorithms for the Best-$K$-Arm problem (even for $K=1$) in practice.

연구 동기 및 목표

• 멀티어머드 밴딧에서 이론적으로 최적인 알고리즘과 실용적으로 효율적인 알고리즘 간 격차를 해소하기 위해.
• 이론적 하한값에 로그 인자 수준에서 근접하는 샘플 복잡도를 갖는 알고리즘을 설계하기 위해.
• 특히 많은 암수를 포함한 대규모 문제에서 기존 방법들에 비해 실용적 성능을 향상시키기 위해.
• 제안된 알고리즘을 샘플 복잡도 향상이 보장되는 조합적 순수 탐색(CPE) 설정으로 확장하기 위해.

제안 방법

• 기존의 UCB 스타일의 구간이 아닌, 시간에 의존하지 않는 LIL 기반의 신뢰 구간을 사용하여 과도한 샘플링을 줄인다.
• lil'RandLUCB는 현재 후보 집합 또는 그 여집합에 속한 암수들 중에서 가장 큰 신뢰 반경을 갖는 암수를 선택하여 효율적인 탐색을 보장한다.
• lil'CLUCB는 모든 암수에 대해 상한 및 하한 신뢰 구간을 유지하며, 가장 높은 경험적 평균을 갖는 암수 집합이 가장 높은 하한 신뢰 구간을 갖는 암수 집합과 일치할 때 정지한다.
• 이론적 분석은 농도 부등식과 새로운 정지 조건 논증을 사용하여 샘플 복잡도를 경계한다.
• 조합적 구조에 대한 일반적인 오라클을 사용해 최상위-K 암수를 찾는 오라클을 대체함으로써, 알고리즘들을 조합적 순수 탐색(CPE) 설정으로 일반화한다.
• 핵심적인 기술적 혁신은 LIL에서 유도된 고정된 신뢰 반경을 사용하여 이전의 경계에서 $O(H\log H)$ 항을 제거하는 것이다.

실험 결과

연구 질문

• RQ1 우리는 샘플 복잡도가 거의 최적에 가까우면서도 뛰어난 실용적 성능을 보이는 Best-K 밴딧 알고리즘을 설계할 수 있는가?
• RQ2 LIL 기반의 신뢰 구간은 기존의 UCB나 제거 기반 방법에 비해 실용적 효율성을 어떻게 향상시키는가?
• RQ3 LIL 기반 접근법은 이론적 샘플 복잡도 보장을 갖는 조합적 순수 탐색(CPE)으로 일반화될 수 있는가?
• RQ4 신뢰 반경의 선택이 높은 신뢰도로 식별을 위해 필요한 샘플 수에 어떤 영향을 미치는가?

주요 결과

• 제안된 lil'RandLUCB와 lil'CLUCB 알고리즘은 $O\left(\sum_{i\in\mathcal{I}}\Delta_{i}^{-2}(\log\delta^{-1} + \log N + \log\log\Delta_{i}^{-1})\right)$ 의 샘플 복잡도를 달성하며, 이는 이론적 하한값에 로그 인자 수준에서 근접한다.
• lil'RandLUCB는 특히 암수가 많고 고차원적인 환경에서 기존 알고리즘에 비해 요구되는 샘플 수를 크게 감소시킨다.
• Best-1-Arm에 대한 최신 기술인 lil'LUCB보다도 뛰어난 실용적 성능을 보이며, 여러 벤치마크에서 뛰어난 성능을 입증한다.
• 일반화된 lil'CLUCB는 조합적 순수 탐색(CPE)에 대해 향상된 샘플 복잡도를 달성하며, $O\left(\text{OPT}(\mathcal{M})^2\sigma^2\sum_{i\in\mathcal{I}}\Delta_{i}^{-2}(\log\delta^{-1} + \log N + \log\log\Delta_{i}^{-1})\right)$ 의 경계를 확보한다.
• 이론적 분석은 알고리즘이 $1 - c_\epsilon \delta^{1+\epsilon}/N^\epsilon$ 이상의 확률로 정확한 해를 반환함을 확인한다.