[논문 리뷰] An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits

Peter Auer, Chao-Kai Chiang|arXiv (Cornell University)|2016. 05. 27.

Advanced Bandit Algorithms Research참고 문헌 5인용 수 22

한 줄 요약

이 논문은 스토하스틱 및 악성 다익기 밴딧 설정 모두에서 거의 최적의 가짜-손실을 달성하는 SAPO 알고리즘을 제시한다. 이 알고리즘은 적응적 탐색과 신뢰구간 추적, 그리고 Exp3.P로의 전환을 결합하여, 스토하스틱 가짜-손실은 $O(\log n)$, 악성 가짜-손실은 $O(\sqrt{n \log n})$를 달성하며, 이러한 두 영역 간의 상호 작용에 대한 열린 문제를 해결한다.

ABSTRACT

We present an algorithm that achieves almost optimal pseudo-regret bounds against adversarial and stochastic bandits. Against adversarial bandits the pseudo-regret is $O(K\sqrt{n \log n})$ and against stochastic bandits the pseudo-regret is $O(\sum_i (\log n)/Δ_i)$. We also show that no algorithm with $O(\log n)$ pseudo-regret against stochastic bandits can achieve $ ilde{O}(\sqrt{n})$ expected regret against adaptive adversarial bandits. This complements previous results of Bubeck and Slivkins (2012) that show $ ilde{O}(\sqrt{n})$ expected adversarial regret with $O((\log n)^2)$ stochastic pseudo-regret.

연구 동기 및 목표

• 스토하스틱 및 악성 밴딧에 대한 알려진 상한 간 격차를 좁히기 위해, 둘 다에서 잘 작동하는 단일 알고리즘을 설계하는 것.
• $O(\log n)$ 스토하스틱 가짜-손실이 $\tilde{O}(\sqrt{n})$ 악성 손실과 호환되는지 확인하는 것.
• 스토하스틱 및 악성 환경에서의 성능 간 기본적인 상호 작용을 규명하는 것.
• 스토하스틱 및 악성 손실 간 필수적인 상호 작용에 대한 날카운 상한을 설정하는 것.

제안 방법

• SAPO 알고리즘은 두 단계 전략을 사용한다: 신뢰구간을 고려한 활성 탐색 이후 필요에 따라 Exp3.P로 전환하는 방식이다.
• 잠재적 손실를 추적하기 위해 하한 신뢰구간 $\mathrm{lcb}^*(t)$를 유지하며, 암 품질 평가를 위한 테스트 단계를 활용한다.
• 간격 기반 임계값 $C_{\mathrm{gap}} \cdot \tilde{\Delta}_i$를 사용하여 나쁜 암을 식별하고 활성 플레이에서 제거함으로써 손실를 통제한다.
• 이중화 및 반복 조정을 통해 단계 길이를 동적으로 조정하며, $M = \lceil \log_2 n \rceil + 2E^0$로 제한된다.
• 베르누이-모멘트 불등식 및 헤프딩-아즈마 변형과 같은 농도 불등식을 사용하여 플레이 횟수의 기대 손실 및 분산을 제한한다.
• 적응적 적대자에 대비한 강건성을 확보하기 위해, 시간 $n_S$에 Exp3.P로의 전환 메커니즘이 활성화된다.

실험 결과

연구 질문

• RQ1 알고리즘이 $O(\log n)$ 스토하스틱 가짜-손실을 달성하면서도 $\tilde{O}(\sqrt{n})$ 악성 가짜-손실을 유지할 수 있는가?
• RQ2 $\tilde{O}(\sqrt{n})$ 악성 손실을 달성하기 위해 $O((\log n)^2)$ 스토하스틱 가짜-손실이 필수적인가?
• RQ3 스토하스틱 및 악성 밴딧 설정에서 동시에 낮은 손실을 달성하는 데 있어 기본적인 한계는 무엇인가?
• RQ4 단일 알고리즘이 두 유형의 밴딧 모두에서 탐색과 이용을 적응적으로 균형 잡을 수 있는가?

주요 결과

• SAPO 알고리즘은 $O(\log n)$ 스토하스틱 가짜-손실과 $O(\sqrt{n \log n})$ 악성 가짜-손실을 달성하며, 각 영역에서 알려진 최고의 상한과 일치한다.
• 모든 $\beta < 2$에 대해, $O((\log n)^\beta)$ 수준의 스토하스틱 가짜-손실은, $\alpha < 1$ 인 경우, 관찰자에 의해 무작위로 선택된 적대자에 대해 $\Omega(n^\alpha)$ 손실을 확률 $\Omega(n^{-\epsilon})$로 암시한다.
• 스토하스틱 가짜-손실이 $O(\log n)$인 어떤 알고리즘도 적응적 적대자에 대해 $\tilde{O}(\sqrt{n})$ 기대 손실을 달성할 수 없다.
• 분석 결과, $\tilde{O}(\sqrt{n})$ 악성 손실을 달성하기 위해 $O((\log n)^2)$ 스토하스틱 가짜-손실이 필수적임을 확인하여, 날카운 상호 작용을 확인한다.
• 알고리즘은 어떤 나쁜 암의 플레이 횟수도 고확률로 $O(M / \tilde{\Delta}_i^2)$ 이하로 제한한다. 여기서 $M = \lceil \log_2 n \rceil + 2E^0$이다.