[논문 리뷰] Adapting to Delays and Data in Adversarial Multi-Armed Bandits

András György, Pooria Joulani|arXiv (Cornell University)|2020. 10. 12.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 지연 피드백이 있는 악성 다항보상 밴딧 문제를 위한 새로운 적응형 알고리즘인 DAda-Exp3과 DeDa-Exp3을 제안한다. 실시간 정보만을 사용하여 스텝 사이즈를 조정함으로써, DAda-Exp3는 기대값과 고확률 모두에서 최적의 리그레트 스케일링 O(√(log K)(KT + D))을 달성한다. DeDa-Exp3는 실제 관측된 손실에 더 적응하여, 유 benign 문제에서 리그레트를 수개월 정도로 감소시킨다. 핵심 혁신은 지연이나 손실에 대한 사전 지식 없이도 전체 지연과 데이터 적응성을 보장할 수 있는 단순한 증명 기법에 있다.

ABSTRACT

We consider the adversarial multi-armed bandit problem under delayed feedback. We analyze variants of the Exp3 algorithm that tune their step-size using only information (about the losses and delays) available at the time of the decisions, and obtain regret guarantees that adapt to the observed (rather than the worst-case) sequences of delays and/or losses. First, through a remarkably simple proof technique, we show that with proper tuning of the step size, the algorithm achieves an optimal (up to logarithmic factors) regret of order $\sqrt{\log(K)(TK + D)}$ both in expectation and in high probability, where $K$ is the number of arms, $T$ is the time horizon, and $D$ is the cumulative delay. The high-probability version of the bound, which is the first high-probability delay-adaptive bound in the literature, crucially depends on the use of implicit exploration in estimating the losses. Then, following Zimmert and Seldin [2019], we extend these results so that the algorithm can "skip" rounds with large delays, resulting in regret bounds of order $\sqrt{TK\log(K)} + |R| + \sqrt{D_{\bar{R}}\log(K)}$, where $R$ is an arbitrary set of rounds (which are skipped) and $D_{\bar{R}}$ is the cumulative delay of the feedback for other rounds. Finally, we present another, data-adaptive (AdaGrad-style) version of the algorithm for which the regret adapts to the observed (delayed) losses instead of only adapting to the cumulative delay (this algorithm requires an a priori upper bound on the maximum delay, or the advance knowledge of the delay for each decision when it is made). The resulting bound can be orders of magnitude smaller on benign problems, and it can be shown that the delay only affects the regret through the loss of the best arm.

연구 동기 및 목표

• 지연이나 손실 분포에 대한 사전 지식이 전혀 필요 없는 완전한 지연 적응형 밴딧 알고리즘을 개발하는 것.
• 기존의 최악의 경우 기준 최소화된 바운드를 넘어서, 관측된(최악의 경우가 아닌) 지연과 손실의 순서에 적응하는 리그레트 바운드를 도출하는 것.
• 암시적 탐색을 사용하여, 완전히 지연 적응형 밴딧 알고리즘에 대해 최초로 고확률 리그레트 바운드를 제공하는 것.
• 실제 손실 크기에 따라 스케일링되는 데이터 적응형 변종을 설계하여, 악성 문제에 비해 쉬운 문제 인스턴스에서 성능을 향상시키는 것.
• 지나치게 큰 지연이 발생하는 라운드를 건너뛰어, 리그레트가 큰 개별 지연에 의존도를 줄이는 것.

제안 방법

• 실시간 피드백과 지연 정보만을 사용하여 스텝 사이즈를 조정하는 Exp3의 지연 적응형 변종인 DAda-Exp3를 제안하며, 오라클 조정을 피한다.
• 손실 추정에 암시적 탐색(Neu, 2015b)을 적용하여, 지연에 대한 사전 지식 없이도 고확률 리그레트 바운드를 달성한다.
• Zimmert와 Seldin(2019)의 영감을 받아, 큰 지연이 발생하는 라운드를 건너뛸 수 있는 스킵 메커니즘을 도입하여 누적 지연 D에 대한 리그레트 의존도를 줄인다.
• 누적 관측 손실에 따라 의존하는 AdaGrad 스타일의 스텝 사이즈를 사용하는 데이터 및 지연 적응형 알고리즘인 DeDa-Exp3를 개발한다. 이는 유 benign 문제에서 리그레트를 향상시킨다.
• FTRL 기반의 새로운 증명 기법과 중요도 가중 손실 추정을 사용하여, 지연 피드백과 드리프트를 포함하는 리그레트 항을 바운딩한다.
• 제이슨의 부등식과 손실 분해를 적용하여 기대 리그레트를 최적의 암호의 손실과 관측된 손실 합의 함수로 바운딩한다.

실험 결과

연구 질문

• RQ1 지연에 대한 사전 지식 없이도 누적 지연 D에 대해 최적의 리그레트 스케일링을 달성할 수 있는가?
• RQ2 오라클 조정이나 지연에 대한 사전 지식 없이도 지연된 밴딧 설정에서 고확률 리그레트 바운드를 달성할 수 있는가?
• RQ3 리그레트가 지연 뿐 아니라 관측된 손실의 실제 크기에 대해서도 적응할 수 있는가? 이는 쉬운 문제에서 성능 향상에 기여하는가?
• RQ4 큰 지연이 발생하는 라운드를 건너뛰는 것이 누적 지연 기반 바운드에 비해 리그레트를 상당히 줄이는가?
• RQ5 간단한 증명 기법을 사용하여 최소한의 가정으로 지연된 Exp3 변종에 대해 날카로운 리그레트 바운드를 유도할 수 있는가?

주요 결과

• DAda-Exp3는 실시간 정보만을 사용하여 기대 리그레트가 O(√(log K)(KT + D))로 계산되며, 로그 인자 외에는 최적의 비율을 달성한다.
• 암시적 탐색을 사용함으로써, DAda-Exp3는 완전히 지연 적응형 밴딧 알고리즘에 대해 기존 문헌에서 최초로 고확률 리그레트 바운드를 달성한다.
• 스킵 메커니즘을 통해 기대값과 고확률 모두에서 리그레트가 O(√(KT log K) + |R| + √(D̄R log K))로 줄어들며, 여기서 R은 스킵된 라운드의 집합이고 D̄R은 남은 라운드의 지연 피드백이다.
• DeDa-Exp3는 최악의 경우 바운드가 아닌 실제 최적 암호의 손실에 따라 스케일링되는 리그레트 바운드를 달성하여, 유 benign 문제에서 수개월 정도의 더 낮은 리그레트를 기대할 수 있다.
• DeDa-Exp3의 리그레트는 최적 암호의 손실 LT,A∗ 과 모든 암호에 대한 손실 합에 따라 영향을 받으며, 이는 지연이 리그레트에 영향을 주는 것은 최적 암호의 손실을 통해만 이루어진다는 것을 보여준다.
• 분석 결과, 지연이 리그레트에 미치는 영향은 전체 손실 합이 아니라 최적 암호의 손실에 비례함을 보여주며, 유리한 경우에 상당한 향상을 이끌 수 있다.