[논문 리뷰] An Optimal Algorithm for Adversarial Bandits with Arbitrary Delays

Julian Zimmert, Yevgeny Seldin|arXiv (Cornell University)|2019. 10. 14.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 13

한 줄 요약

이 논문은 1/2-Tsallis 엔트로피와 음의 엔트로피를 조합한 새로운 하이브리드 정규화를 사용하는 anytime FTRL 알고리즘을 제안하며, 임의의 지연이 있는 악성 밴디트 문제에서 최적의 $Ó(\sqrt{kn} + \sqrt{D\log k})$ 리그레트를 달성한다. 이는 $n$ 또는 $D$에 대한 사전 지식이 필요로 하지 않으며, 듀블리케이팅 스킴을 피하고, 조기 지연 지식이 없이도 비균형 지연에 적응하는 정교한 스킵 기법을 가능하게 하여 열린 문제를 해결한다.

ABSTRACT

We propose a new algorithm for adversarial multi-armed bandits with unrestricted delays. The algorithm is based on a novel hybrid regularizer applied in the Follow the Regularized Leader (FTRL) framework. It achieves $\mathcal{O}(\sqrt{kn}+\sqrt{D\log(k)})$ regret guarantee, where $k$ is the number of arms, $n$ is the number of rounds, and $D$ is the total delay. The result matches the lower bound within constants and requires no prior knowledge of $n$ or $D$. Additionally, we propose a refined tuning of the algorithm, which achieves $\mathcal{O}(\sqrt{kn}+\min_{S}|S|+\sqrt{D_{\bar S}\log(k)})$ regret guarantee, where $S$ is a set of rounds excluded from delay counting, $\bar S = [n]\setminus S$ are the counted rounds, and $D_{\bar S}$ is the total delay in the counted rounds. If the delays are highly unbalanced, the latter regret guarantee can be significantly tighter than the former. The result requires no advance knowledge of the delays and resolves an open problem of Thune et al. (2019). The new FTRL algorithm and its refined tuning are anytime and require no doubling, which resolves another open problem of Thune et al. (2019).

연구 동기 및 목표

• 시간 범위 $n$ 및 총 지연 $D$에 대한 사전 지식이 필요로 하지 않는 악성 밴디트 문제의 열린 문제를 해결하기 위해.
• 지연 적응형 알고리즘에서 듀블리케이팅 스킴이 필요로 하지 않도록 하여, anytime 성능을 가능하게 하기 위해.
• 지연 지식이 사전에 없이도 큰 지연이 있는 라운드를 제외하는 스킵 메커니즘을 개발하기 위해.
• 비균형 지연 분포 조건 하에서도 알려진 하한값 내에서 상수 요소로 일치하는 리그레트 한계를 달성하기 위해.
• 높은 비균형 지연 패턴에 적응하기 위해, 고지연 라운드를 카운팅에서 제외함으로써 정교한 리그레트 보장을 제공하기 위해.

제안 방법

• 개별 학습률를 가진 1/2-Tsallis 엔트로피와 음의 엔트로피를 조합한 새로운 하이브리드 정규화를 FTRL 프레임워크에 도입한다.
• 알고리즘은 $n$과 $D$를 알 수 없더라도 리셋 없이 듀블리케이팅 없이 동적으로 조정 가능한 anytime FTRL 알고리즘을 설계한다.
• 지연 영향의 추정치를 기반으로 한 임계값을 사용하여 고지연 라운드를 지연 카운팅에서 제외하는 스킵 메커니즘을 도입한다.
• 모든 라운드의 부분집합 $S$에 대해 $|S| + \sqrt{D_{\bar{S}}\log k}$를 최소화하는 정교한 튜닝 전략을 사용한다.
• $\tilde{\mathfrak{d}}_t$를 이용한 재귀적 지연 피드백 기여도 추정을 통해 효과적 지연 합을 제한한다.
• FTRL 분석, 지연 분해, 스킵된 집합 $S$에 대한 최적화를 조합하여 리그레트 한계를 유도한다.

실험 결과

연구 질문

• RQ1 임의의 지연이 있는 악성 밴디트 문제에 대해, $n$ 또는 $D$에 대한 사전 지식이 필요로 하지 않는 anytime FTRL 알고리즘을 설계할 수 있는가?
• RQ2 듀블리케이팅 또는 리셋 없이도 최적의 리그레트 $\mathcal{O}(\sqrt{kn} + \sqrt{D\log k})$ 를 달성할 수 있는가?
• RQ3 지연 지식이 사전에 없이도 고지연 라운드를 제외하는 스킵 전략을 설계할 수 있는가?
• RQ4 비균형 지연 분포 하에서 표준 리그레트 한계에 비해 정교한 리그레트 한계 $\mathcal{O}(\sqrt{kn} + \min_S(|S| + \sqrt{D_{\bar{S}}\log k}))$ 가 상당히 향상되는가?
• RQ5 제안된 알고리즘이 악성 환경뿐 아니라 잠재적으로 스토케스틱 환경에도 적응 가능한가?

주요 결과

• 알고리즘은 $\mathcal{O}(\sqrt{kn} + \sqrt{D\log k})$ 리그레트 한계를 달성하며, 알려진 하한값 내 상수 요소로 일치한다.
• 알고리즘이 anytime이며, 듀블리케이팅 또는 리셋이 필요로 하지 않아, Thune 등 (2019)에서 제기한 열린 문제를 해결한다.
• 정교한 튜닝 전략은 $\mathcal{O}(\sqrt{kn} + \min_S(|S| + \sqrt{D_{\bar{S}}\log k}))$ 리그레트를 달성하며, 지연이 매우 비균형적일 경우 상당히 더 날카로운 결과를 제공한다.
• 스킵된 라운드 수 $|S|$ 는 $2\sqrt{\tilde{\mathfrak{D}}_n \log k}$ 로 제한되어 있어, 스킵 메커니즘이 효율적임을 보장한다.
• 리그레트 한계는 지연 분포에 대해 강건하며, 비균형 케이스에서 $n$에 대한 의존성은 적응형 버전에서 향상된다.
• 지연이 없는 경우 알고리즘이 Tsallis-INF로 축소되며, 이는 스토케스틱 환경에서 로그 리그레트 가능성의 잠재력을 시사한다.