[논문 리뷰] A New Algorithm for Non-stationary Contextual Bandits: Efficient, Optimal, and Parameter-free

Yifang Chen, Chung‐Wei Lee외 2명|arXiv (Cornell University)|2019. 02. 03.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 39

한 줄 요약

본 논문은 비정상(non-stationary) 환경에서 파라미터가 필요 없는 최초의 효율적이고 최적의 맥락 밴딧 알고리즘을 제시하며, S 또는 Δ에 대한 사전 지식 없이 리플레이 단계들을 사용해 동적 regret의 상한이 O(min{√(KST), K^{1/3} Δ^{1/3} T^{2/3}})임을 보여준다.

ABSTRACT

We propose the first contextual bandit algorithm that is parameter-free, efficient, and optimal in terms of dynamic regret. Specifically, our algorithm achieves dynamic regret $\mathcal{O}(\min\{\sqrt{ST}, Δ^{\frac{1}{3}}T^{\frac{2}{3}}\})$ for a contextual bandit problem with $T$ rounds, $S$ switches and $Δ$ total variation in data distributions. Importantly, our algorithm is adaptive and does not need to know $S$ or $Δ$ ahead of time, and can be implemented efficiently assuming access to an ERM oracle. Our results strictly improve the $\mathcal{O}(\min \{S^{\frac{1}{4}}T^{\frac{3}{4}}, Δ^{\frac{1}{5}}T^{\frac{4}{5}}\})$ bound of (Luo et al., 2018), and greatly generalize and improve the $\mathcal{O}(\sqrt{ST})$ result of (Auer et al, 2018) that holds only for the two-armed bandit problem without contextual information. The key novelty of our algorithm is to introduce replay phases, in which the algorithm acts according to its previous decisions for a certain amount of time in order to detect non-stationarity while maintaining a good balance between exploration and exploitation.

연구 동기 및 목표

• 시간에 따라 하나의 정책이 최적이 아닐 수 있는 비정상 환경을 동기 부여하고 다룬다.
• 동적 regret 보장을 갖는 파라미터가 필요없는 맥락 밴딧 알고리즘을 제안한다.
• 환경의 전환(switching)이나 변동(variation)을 사전에 알지 못하더라도 적응적 성능을 달성한다.

제안 방법

• 비정상성을 탐지하기 위해 알고리즘이 과거의 의사결정을 따르는 리플레이 단계들을 도입한다.
• 리플레이 및 일반 단계에서 탐험-활용 균형을 갖춘 온라인 학습 프레임워크를 개발한다.
• K개의 행동, S개의 전환, Δ의 총 변화량인 T라운드에 대해 O(min{√(KST), K^{1/3} Δ^{1/3} T^{2/3}})의 동적 regret 경계를 보인다.
• 효율적인 구현을 위해 ERM(경험적 위험 최소화) 오라클에 접근할 수 있다고 가정한다.
• 알고리즘은 S와 Δ에 대해 적응적이고 파라미터-프리가 되도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 비정상성은 어떻게 탐지하고 효율적으로 처리할 수 있을까? S와 Δ를 사전에 알지 못하는 맥락 밴딧에서.
• RQ2 ERM 오라클하에서 비정상성하의 맥 context 밴딧에서 어떤 동적 regret 보장을 얻을 수 있을까?
• RQ3 리플레이 메커니즘이 맥 context 설정에서 효율성을 희생하지 않으면서 최적이거나 근접한 성능을 낼 수 있을까?

주요 결과

• 동적 regret 경Bound를 O(min{√(KST), K^{1/3} Δ^{1/3} T^{2/3}})으로 얻는다.
• 알고리즘은 파라미터-프리이며 알려지지 않은 S와 Δ에 적응한다.
• 리플레이 단계는 비정상성 감지를 가능하게 하면서 탐험-활용 균형을 유지한다.
• 관련 연구에서의 O(√(ST)) (맥락 없이 이진 밴딧에 대한 경우) 또는 O(S^{1/4} T^{3/4}) 또는 Δ^{1/5} T^{4/5}와 같은 경계보다 개선된 결과를 제공한다.