[논문 리뷰] The best of both worlds: stochastic and adversarial bandits

Sébastien Bubeck, Aleksandrs Slivkins|arXiv (Cornell University)|2012. 02. 20.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 132

한 줄 요약

이 논문은 확률적 및 적대적 보상 환경에서 근사 최적의 리그레트를 달성하는 다수의 랜드마크 밴딧 알고리즘인 SAO(Stochastic and Adversarial Optimal)를 소개한다. UCB1 스타일의 탐색과 Exp3 스타일의 강건성 간에 적응적으로 전환함으로써, SAO는 확률적 환경에서 $\frac{K}{\Delta}\text{polylog}(n)$의 리그레트를, 적대적 환경에서 $\tilde{O}(\text{polylog}(n)\text{poly}(K)\text{poly}\sqrt{n})$의 리그레트를 달성하여, 두 세계의 최고를 결합한다.

ABSTRACT

We present a new bandit algorithm, SAO (Stochastic and Adversarial Optimal), whose regret is, essentially, optimal both for adversarial rewards and for stochastic rewards. Specifically, SAO combines the square-root worst-case regret of Exp3 (Auer et al., SIAM J. on Computing 2002) and the (poly)logarithmic regret of UCB1 (Auer et al., Machine Learning 2002) for stochastic rewards. Adversarial rewards and stochastic rewards are the two main settings in the literature on (non-Bayesian) multi-armed bandits. Prior work on multi-armed bandits treats them separately, and does not attempt to jointly optimize for both. Our result falls into a general theme of achieving good worst-case performance while also taking advantage of "nice" problem instances, an important issue in the design of algorithms with partially known inputs.

연구 동기 및 목표

• 확률적 및 적대적 보상 환경에서 모두 최적의 성능을 보이는 단일 밴딧 알고리즘을 설계하는 것.
• 확률적 모델에서 $O(\text{polylog}(n))$의 리그레트와 적대적 모델에서 $O(\text{polylog}(n)\text{poly}(K)\text{poly}\sqrt{n})$의 리그레트를 동시에 달성할 수 있는 알고리즘이 존재하는지 여부라는 열린 문제를 해결하는 것.
• 특히 보상이 확률적으로 보이지만 적대적 조작에 강건한 탐색-이용 균형을 유지하는 것.
• 사전 환경 지식 없이도 알려지지 않은 보상 구조에 적응할 수 있는 통합 프레임워크를 개발하는 것.

제안 방법

• SAO는 보상 일관성에 대한 통계적 검증을 기반으로 UCB1 스타일의 탐색 단계와 Exp3 스타일의 강건 단계 사이를 동적으로 전환하는 하이브리드 전략을 사용한다.
• 알고리즘은 각 암에 대해 상한 신뢰구간과 경험적 평균을 유지하며, 보상이 i.i.d. (확률적)인지 아닌지 여부를 감지하기 위해 임계값 기반 메커니즘을 적용한다.
• 통계적 검증이 확률적 성질을 확인하지 못할 경우, 정지 시간 $\tau_0$가 활성화되어 UCB 스타일에서 Exp3 스타일로의 전환을 유도한다.
• 추정 오차를 제어하기 위해 $\log \beta$ 항을 포함하는 신뢰구간을 사용하며, $\beta$는 시간이 지남에 따라 증가하여 고확률 경계를 확보한다.
• 탐색을 제어하기 위해 $q_i$ 항을 포함한 가중 샘플링 규칙을 적용하여, 갭이 작은 암들이 충분히 탐색되도록 보장한다.
• 높은 확률 집중 부등식과 리그레트 단계 분해를 결합하여 분석을 수행하며, $T_i(n)$과 $\tau_i$에 대한 경계를 활용해 날카운 리그레트 경계를 유도한다.

실험 결과

연구 질문

• RQ1 단일 밴딧 알고리즘이 확률적 및 적대적 환경 모두에서 근사 최적의 리그레트를 달성할 수 있는가?
• RQ2 보상이 i.i.d.인지 자동으로 감지하고 전략을 적응적으로 조정할 수 있는 알고리즘을 설계할 수 있는가?
• RQ3 적대적 보상에 대한 강건성과 확률적 환경에서의 효율성 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 확률적 모델에서 리그레트를 $\tilde{O}(\frac{K}{\Delta})$로 제한하면서도 적대적 경우에서 $\tilde{O}(\sqrt{nK})$의 리그레트를 유지할 수 있는가?

주요 결과

• 적대적 모델에서 SAO는 $\mathbb{E}[R_n] \leq O(\sqrt{nK} \log^{3/2}(n) \log K)$의 리그레트를 달성하며, Exp3의 최악의 경우 성능과 로그 인자 수준에서 일치한다.
• 확률적 모델에서 SAO는 $\mathbb{E}[\overline{R}_n] \leq O(\frac{K}{\Delta} \log^2(n) \log K)$의 리그레트를 달성하며, 이는 근사 최적이며 UCB1의 $O(\frac{K}{\Delta} \log n)$ 경계와 로그 인자 수준에서 일치한다.
• 보상 시퀀스가 진정으로 i.i.d.인 한, 알고리즘은 확률적 모델에서 결코 Exp3를 활성화하지 않아 효율적인 탐색을 보장한다.
• UCB 스타일에서 Exp3 스타일로의 전환은 통계적 검증이 비i.i.i.d. 행동을 감지할 때만 유도되며, 최소한의 오버헤드를 보장한다.
• 높은 확률 리그레트 경계는 집중 부등식과 각 암의 당김 횟수 제어를 통해 확립되었으며, $\sum q_i \leq 1 + \log K$를 만족한다.
• 분석을 통해 알고리즘이 확률적 경우에서는 $O(\text{polylog}(n))$의 리그레트를 유지하고, 적대적 경우에서는 $O(\sqrt{n})$ 유형의 리그레트를 확보하여, 두 세계의 최고를 실현함을 확인한다.