[논문 리뷰] Efficient Contextual Bandits in Non-stationary Worlds

Haipeng Luo, Chen-Yu Wei외 2명|arXiv (Cornell University)|2017. 08. 05.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 77

한 줄 요약

논문은 비정상 환경에 적응하는 효율적인 맥락 밴딧 알고리즘을 통계적 검정을 사용해 개발하고, 다양한 비정상성 척도에서 거의 최적의 후퇴를 달성하며 매개변수 없는 옵션을 제공한다.

ABSTRACT

Most contextual bandit algorithms minimize regret against the best fixed policy, a questionable benchmark for non-stationary environments that are ubiquitous in applications. In this work, we develop several efficient contextual bandit algorithms for non-stationary environments by equipping existing methods for i.i.d. problems with sophisticated statistical tests so as to dynamically adapt to a change in distribution. We analyze various standard notions of regret suited to non-stationary environments for these algorithms, including interval regret, switching regret, and dynamic regret. When competing with the best policy at each time, one of our algorithms achieves regret $\mathcal{O}(\sqrt{ST})$ if there are $T$ rounds with $S$ stationary periods, or more generally $\mathcal{O}(Δ^{1/3}T^{2/3})$ where $Δ$ is some non-stationarity measure. These results almost match the optimal guarantees achieved by an inefficient baseline that is a variant of the classic Exp4 algorithm. The dynamic regret result is also the first one for efficient and fully adversarial contextual bandit. Furthermore, while the results above require tuning a parameter based on the unknown quantity $S$ or $Δ$, we also develop a parameter free algorithm achieving regret $\min\{S^{1/4}T^{3/4}, Δ^{1/5}T^{4/5}\}$. This improves and generalizes the best existing result $Δ^{0.18}T^{0.82}$ by Karnin and Anava (2016) which only holds for the two-armed bandit problem.

연구 동기 및 목표

• 고정 정책 벤치마크가 아닌 비정상 분포 하에서의 맥락 밴딧 연구의 동기를 제시한다.
• 통계적 검정을 사용하여 분포 변화에 적응하는 효율적인 알고리즘을 개발한다.
• 구간(interval), 스위칭, 다이나믹 등 여러 비정상성 개념하에서 후퇴 보장을 제공한다.
• 기본 Exp4 유사 방법과의 효율성을 비교하고 매개변수 없는 동작을 가능하게 한다.

제안 방법

• 배포 변화 탐지를 위한 통계적 검정을 이용해 i.i.d.-지향 맥락 밴딧 방법을 확장한다.
• 구간, 스위칭, 다이나믹 비정상 설정에 대한 후퇴 보장을 도출한다.
• 매 시점에서 최적 정책과 경쟁하는 알고리즘을 분석하고 거의 최적 경계를 제공한다.
• 알려지지 않은 비정상성 수준에 적응하는 후퇴를 달성하는 매개변수 없는 변형을 개발한다.

실험 결과

연구 질문

• RQ1 맥락 밴딧 알고리즘을 비정상 환경에 적응시키면서 어떻게 효율성을 유지할 수 있는가?
• RQ2 구간, 스위칭, 다이나믹 비정상성에서 달성 가능한 후퇴 경계는 무엇인가?
• RQ3 알려진 비정상성 후퇴를 상응하거나 개선하는 매개변수 없는 알고리즘을 설계할 수 있는가?
• RQ4 비정상 맥락에서 Exp4와 관련된 비효율적 기본 방법들과의 성능 비교는 어떻게 되는가?

주요 결과

• 매 시점에서 최적 정책과 경쟁하는 알고리즘은 S개의 정상화 기간과 T라운드에서 O(√(ST))의 후퇴를 달성한다.
• Δ가 비정상성을 나타내는 척도일 때 일반적인 상한은 O(Δ^{1/3} T^{2/3})이다.
• 다이나믹 후퇴 결과는 최초로 효율적인 완전 대립(adversarial) 맥락 밴딧 보장을 제공한다.
• 매개변수 없는 알고리즘은 후퇴를 Min{S^{1/4} T^{3/4}, Δ^{1/5} T^{4/5}} 달성한다.
• 이 결과들은 비효율적 Exp4-유사 기준의 최적 보장에 거의 근접하며, 두 팔 밴딧을 넘는 기존 결과를 일반화한다.