[논문 리뷰] Nearly Optimal Adaptive Procedure with Change Detection for Piecewise-Stationary Bandit

Yang Cao, Zheng Wen외 2명|arXiv (Cornell University)|2018. 02. 11.

Advanced Bandit Algorithms Research인용 수 48

한 줄 요약

M-UCB는 균일 탐사, UCB1, 그리고 단순한 슬라이딩 윈도우 변화점 탐지기를 결합하여 부분적으로 정상인 밴딧 문제를 다루며, O(sqrt(MKT log T))의 후회를 달성한다. 로그 팩터까지 거의 최적에 가깝다.

ABSTRACT

Multi-armed bandit (MAB) is a class of online learning problems where a learning agent aims to maximize its expected cumulative reward while repeatedly selecting to pull arms with unknown reward distributions. We consider a scenario where the reward distributions may change in a piecewise-stationary fashion at unknown time steps. We show that by incorporating a simple change-detection component with classic UCB algorithms to detect and adapt to changes, our so-called M-UCB algorithm can achieve nearly optimal regret bound on the order of $O(\sqrt{MKT\log T})$, where $T$ is the number of time steps, $K$ is the number of arms, and $M$ is the number of stationary segments. Comparison with the best available lower bound shows that our M-UCB is nearly optimal in $T$ up to a logarithmic factor. We also compare M-UCB with the state-of-the-art algorithms in numerical experiments using a public Yahoo! dataset to demonstrate its superior performance.

연구 동기 및 목표

• 실제 응용에서 부분적으로 정상적인 보상 분포를 가진 밴딧 문제 연구의 동기를 제시한다.
• 변화를 적응하기 위해 Change-point Detection을 UCB와 통합한 실용적인 알고리즘(M-UCB)을 제안한다.
• 완만한 가정 하에서 M-UCB의 근사 최적 후회 경계를 확립한다.
• 합성 데이터와 Yahoo 데이터셋 벤치마크에서 M-UCB의 경험적 이점을 보여준다.

제안 방법

• (Algorithm 1) 실행 윈도우 평균을 비교하는 간단한 Change-point Detector를 도입한다.
• 탐지기를 UCB 스타일 학습에 삽입하여 Monitored-UCB (M-UCB, Algorithm 2)를 만든다.
• 변화를 모든 팔에서 탐지하기 위해 균일 샘플링과 UCB 기반 선택의 혼합으로 탐색을 보장한다.
• 가정 1하에서 R(T) = O(sqrt(MKT log T))의 이론적 후회 분석을 제공한다.
• 탐색 비용, 균일 샘플링 비용, 탐지 지연, 오경보의 네 구성 요소와의 관련을 보여준다(정리 1).

실험 결과

연구 질문

• RQ1 단순한 Change-point Detector를 UCB 접근법과 통합하는 것이 부분적으로 정상인 밴딧에서 강한 후회 보장을 제공할 수 있는가?
• RQ2 이러한 방법의 후회 규모가 시간 horizon T, 팔의 수 K, 정상 구간의 수 M에 대해 어떻게 스케일하는가?
• RQ3 창(w), 임계값(b), 균일 샘플링 비율 gamma 등 제안된 매개변수가 탐지 및 후회에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 실제 데이터에서 최신 비정상적 밴딧 알고리즘들에 대해 실험적으로 어떻게 성능을 보이는가?
• RQ5 이론적 경계가 가정의 편차(예: 비 Bernoulli 보상, 작은 변화)에 대해 강건한가?

주요 결과

• M-UCB는 mild technical assumptions 하에서 O(sqrt(MKT log T))의 후회 상한을 달성하며, 로그 인수만 남는 수준의 알려진 하한에 사실상 근접하다.
• 후회는 시퀀스 수 M에 대해 대략 sqrt(M), 팔의 수 K에 대해 대략 sqrt(K)로 스케일하는 것으로 경험적 확인에서 보인다.
• 단순한 슬라이딩 윈도우 기반의 변화 탐지 방식은 학습을 이끄는 것과 감지된 변화 이후의 재시작에 충분하다.
• Yahoo! 데이터에서 다른 최첨단 비정상 밴딧 기법들(EXP3, EXP3.S, SW-UCB, D-UCB, SHIFTBAND 등) 대비 누적 후회 감소가 최소 50-60% 이상 우수하다.
• Yahoo! 및 합성 데이터에 대한 실험은 강한 매개변수 가정 없이도 변화에 대해 강건함을 시사한다.