[논문 리뷰] Double Explore-then-Commit: Asymptotic Optimality and Beyond

Tianyuan Jin, Pan Xu외 2명|arXiv (Cornell University)|2020. 02. 21.

Advanced Bandit Algorithms Research참고 문헌 35인용 수 7

한 줄 요약

이 논문은 점점 감소하는 손실을 달성하면서도 일정한 라운드 복잡도를 유지하는 새로운 배치형 다항보상 밴딧 알고리즘인 더블 익스플로어-테나-컴밋(DETC)을 제안한다. 두 개의 별도된 탐색 단계를 거친 후에 이용 단계로 이어지는 방식으로, 전통적인 ETC 전략의 열등성을 극복하고, UCB와 같은 완전 순차적 알고리즘의 점점 감소하는 손실 경계를 재현함으로써, 이를 달성하는 최초의 비완전 순차적 방법이 되었다.

ABSTRACT

We study the multi-armed bandit problem with subgaussian rewards. The explore-then-commit (ETC) strategy, which consists of an exploration phase followed by an exploitation phase, is one of the most widely used algorithms in a variety of online decision applications. Nevertheless, it has been shown in Garivier et al. (2016) that ETC is suboptimal in the asymptotic sense as the horizon grows, and thus, is worse than fully sequential strategies such as Upper Confidence Bound (UCB). In this paper, we show that a variant of ETC algorithm can actually achieve the asymptotic optimality for multi-armed bandit problems as UCB-type algorithms do and extend it to the batched bandit setting. Specifically, we propose a double explore-then-commit (DETC) algorithm that has two exploration and exploitation phases and prove that DETC achieves the asymptotically optimal regret bound. To our knowledge, DETC is the first non-fully-sequential algorithm that achieves such asymptotic optimality. In addition, we extend DETC to batched bandit problems, where (i) the exploration process is split into a small number of batches and (ii) the round complexity is of central interest. We prove that a batched version of DETC can achieve the asymptotic optimality with only a constant round complexity. This is the first batched bandit algorithm that can attain the optimal asymptotic regret bound and optimal round complexity simultaneously.

연구 동기 및 목표

• 서브가우시안 보상이 있는 다항보상 밴딧 문제에서 표준 익스플로어-테나-컴밋(ETC) 전략의 열등성을 해결하기 위해.
• 점점 감소하는 손실 최적성과 최소한의 라운드 복잡도를 동시에 달성하는 배치형 밴딧 알고리즘을 설계하기 위해.
• 두 단계의 탐색 전략이 UCB와 같은 완전 순차적 알고리즘의 점점 감소하는 손실 성능을 따라갈 수 있음을 보여주기 위해.
• 완전 순차적 알고리즘이 아닌 알고리즘에 대해, 최적 성능을 보장하는 이론적 보장을 수립하기 위해.

제안 방법

• 두 개의 별도된 탐색 단계와 하나의 이용 단계를 거치는 더블 익스플로어-테나-컴밋(DETC) 알고리즘을 제안한다.
• 첫 번째 탐색 단계에서 데이터에 의존하는 정지 시간을 사용하여, 높은 신뢰도로 암 보상의 평균을 추정한다.
• 두 번째 탐색 단계를 통해 추정치를 정밀화하고 불확실성을 줄인 후 최선의 암으로 전환한다.
• 집중 부등식과 피링 기법을 사용하여 잘못된 암 선택 확률을 경계한다.
• 알고리즘의 손실 경계를 유도하여, 알려진 또는 알려지지 않은 갭 매개변수 하에서 Lai와 Robbins(1985) 및 Garivier 등(2016)의 점점 감소하는 하한과 일치시킨다.
• 알고리즘을 소수의 라운드로 구성함으로써, 배치형 밴딧 설정으로 확장하여 일정한 라운드 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 서브가우시안 보상이 있는 다항보상 밴딧에서, 이중 단계의 익스플로어-테나-컴밋 전략이 점점 감소하는 최적성을 달성할 수 있는가?
• RQ2 완전 순차적 알고리즘이 아닌 밴딧 알고리즘을 설계하여, UCB 유형 알고리즘의 점점 감소하는 손실 경계를 따라갈 수 있는가?
• RQ3 배치형 밴딧 알고리즘이 점점 감소하는 손실 최적성과 일정한 라운드 복잡도를 동시에 달성할 수 있는가?
• RQ4 배치형 밴딧 문제에서 점점 감소하는 최적성을 달성하기 위해 필요한 최소한의 라운드 복잡도는 얼마인가?
• RQ5 ETC 전략에서 단일 탐색 단계 대비 두 개의 탐색 단계가 손실 성능을 어떻게 향상시킬 수 있는가?

주요 결과

• Δ_i가 알려지지 않은 경우, DETC는 $\sum_{i:\Delta_i > 0} \frac{2}{\Delta_i}$의 점점 감소하는 손실 경계를 달성하며, 이는 Lai와 Robbins(1985)의 하한과 일치한다.
• Δ_i가 알려진 경우, DETC는 Garivier 등(2016)이 확립한 더 날카운 하한인 $\sum_{i:\Delta_i > 0} \frac{1}{2\Delta_i}$를 달성한다.
• DETC는 서브가우시안 보상이 있는 다항보상 밴딧 설정에서 점점 감소하는 최적성을 달성하는 최초의 비완전 순차적 알고리즘이다.
• 배치형 DETC는 오직 일정한 라운드 복잡도만으로도 점점 감소하는 최적성을 달성하며, 이는 문헌에서 최초의 사례이다.
• 배치형 DETC의 손실 경계는 $O(\log T)$이며, 이는 최적 속도와 일치하고, 라운드 복잡도는 $O(1)$이며, T에 독립적이다.
• 이론적 분석을 통해, 비최적 암을 선택할 확률이 $O(1/(T\delta^2))$ 이하로 경계됨을 증명하여, 최적 암 선택의 고신뢰도를 보장한다.