[논문 리뷰] Efficient Change-Point Detection for Tackling Piecewise-Stationary Bandits

Lilian Besson, Emilie Kaufmann외 2명|arXiv (Cornell University)|2019. 02. 05.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 18

한 줄 요약

이 논문은 조각별 정적 밴딧 문제를 위한 새로운 알고리즘인 GLR-klUCB를 제안한다. 이 알고리즘은 klUCB와 매개변수 없는 베르누이 일반화된 가능도 비율 검정(GLRT) 변화점 탐지기인 조합으로 구성된다. 변화점 수나 암호화된 평균값에 대한 사전 지식이 없이도 $Ó(\sqrt{TA\Upsilon_T\ln T})$의 리그레트를 달성하며, 잘 분리된 큰 변화를 보이는 '쉬운' 인스턴스에서 이론적·실제 성능 면에서 기존 방법들을 능가한다.

ABSTRACT

We introduce GLR-klUCB, a novel algorithm for the piecewise iid non-stationary bandit problem with bounded rewards. This algorithm combines an efficient bandit algorithm, kl-UCB, with an efficient, parameter-free, changepoint detector, the Bernoulli Generalized Likelihood Ratio Test, for which we provide new theoretical guarantees of independent interest. Unlike previous non-stationary bandit algorithms using a change-point detector, GLR-klUCB does not need to be calibrated based on prior knowledge on the arms' means. We prove that this algorithm can attain a $O(\sqrt{TA Υ_T\log(T)})$ regret in $T$ rounds on some "easy" instances, where A is the number of arms and $Υ_T$ the number of change-points, without prior knowledge of $Υ_T$. In contrast with recently proposed algorithms that are agnostic to $Υ_T$, we perform a numerical study showing that GLR-klUCB is also very efficient in practice, beyond easy instances.

연구 동기 및 목표

• 암호화된 시간점에서 암호화된 평균값이 변화하는 비정적 다중 암호 밴딧 문제에 대응하기 위해.
• 변화점 수($\Upsilon_T$)나 최소 변화 폭($\Delta^{\text{change}}$)에 대한 사전 지식이 필요 없는 밴딧 알고리즘을 설계하기 위해.
• 강력한 밴딧 전략(klUCB)과 매개변수 없는 변화점 탐지기(베르누이 GLRT)를 조합하여 실용적·이론적 성능을 향상시키기 위해.
• 잘 분리된 크고 의미 있는 변화가 있는 '쉬운' 인스턴스에서 근사 최적의 리그레트를 달성할 수 있음을 증명하기 위해.

제안 방법

• 알고리즘은 스위치 밴딧에서 강력한 실증 성능를 보이는 것으로 알려진 klUCB 밴딧 전략을 사용하여 암호화된 암호를 선택한다.
• 변화 폭의 하한이 필요 없이 암호화된 보상 분포의 변화를 탐지하기 위해, 베르누이 일반화된 가능도 비율 검정(GLRT)을 변화점 탐지기로 통합한다.
• 두 가지 리스타트 메커니즘을 평가한다: 전역 리스타트(어느 변화도 감지될 경우 모든 암호를 초기화)와 국소 리스타트(변화가 감지된 암호만 초기화).
• 이론적 분석을 통해 전역 리스타트의 경우 리그레트 한계가 $\mathcal{O}(\sqrt{TA\Upsilon_T\ln T}/(\Delta^{\text{change}})^2)$임을 입증하였으며, $\Delta^{\text{change}}$가 0에서 벗어나면 $\mathcal{O}(\sqrt{TA\Upsilon_T\ln T})$로 축소됨을 보였다.
• GLRT 탐지기는 비점근적 성질을 갖는 것으로 밝혀졌으며, 이는 비정적 밴딧 설정에서의 활용에 있어 독립적인 관심사가 된다.
• 알고리즘은 합성 조각별 정적 환경과 Yahoo! 뉴스 클릭률 데이터를 사용한 실제 라이프리스 밴딧 작업에서 평가되었다.

실험 결과

연구 질문

• RQ1 변화점 탐지 기반 밴딧 알고리즘이 변화점 수($\Upsilon_T$)에 대한 사전 지식 없이 최적의 리그레트를 달성할 수 있는가?
• RQ2 베르누이 GLRT와 같은 매개변수 없는 변화점 탐지기를 밴딧 프레임워크에 효과적으로 통합하여 암호화된 평균 추정치에 의존하지 않을 수 있는가?
• RQ3 GLR-klUCB와 같은 최종 알고리즘이 조각별 정적 가정을 위반하는 다양한 비정적 밴딧 환경에서도 강력한 실증 성능을 유지하는가?
• RQ4 GLR-klUCB는 강제 탐색 없이도 라이프리스 써닝 밴딧과 같은 비정적 환경에서 로그 리그레트를 달성할 수 있는가?

주요 결과

• 전역 리스타트 하에서 GLR-klUCB는 $\mathcal{O}(\sqrt{TA\Upsilon_T\ln T}/(\Delta^{\text{change}})^2)$의 리그레트 한계를 확보하였으며, $\Delta^{\text{change}}$가 0에서 벗어나면 Seznec 등(2020)의 하한값에 $\sqrt{\ln T}$ 요소를 제외한 수준으로 근접한다.
• T=20000, K=5, $\Upsilon$=6, $\Delta_{\min}$=0.05, $d_{\min}$=1000 조건에서의 수치 실험에서, GLR-klUCB 전역 리스타트는 평균 3.1회의 리스타트로 611의 리그레트를 기록하였으며, 다른 CPD 기반 알고리즘들을 능가했다.
• 실제 Yahoo! 뉴스 클릭률 데이터셋에서, 국소 리스타트와 강제 탐색 없이 GLR-klUCB는 Exp3.S과 FEWA를 크게 앞서며, 라이프리스 밴딧 분야의 최첨단 알고리즘인 RAW-UCB와 유사한 성능을 달성했다.
• 알고리즘의 리그레트 곡선은 큰 고립된 변화가 있는 경우 로그 형태를 띠며, 이는 비증가 조각별 밴딧 문제에서 로그 리그레트 달성 가능성을 시사한다.
• 이론적 한계가 $\Delta^{\text{change}}$에 의존하지만, 실험 결과는 모든 변화가 감지되지 않는 '더 어려운' 인스턴스에서도 GLR-klUCB가 잘 작동함을 보여, 이론적 가정을 초월한 강건성을 입증한다.
• 베르누이 GLRT 탐지기는 변화 폭의 하한이 필요 없이 효과적으로 작동함을 입증하여, 이 알고리즘은 암호화된 평균값에 민감하지 않으며, CUSUM이나 M-UCB보다 더 실용적임을 보였다.