[논문 리뷰] Hedging the Drift: Learning to Optimize under Non-Stationarity

Wang Chi Cheung, David Simchi‐Levi외 1명|arXiv (Cornell University)|2019. 03. 04.

Advanced Bandit Algorithms Research참고 문헌 54인용 수 35

한 줄 요약

비정상(non-stationary) 밴딧 문제를 위한 데이터 기반 알고리즘을 도입하여 최첨단의 동적 후회(bound) 한계를 달성하며, 슬라이딩 윈도우 UCB(SW-UCB)와 Bandit-over-Bandit(BOB) 프레임워크를 포함하고, 여러 밴딧 모델로의 확장과 실증 검증을 제공합니다.

ABSTRACT

We introduce data-driven decision-making algorithms that achieve state-of-the-art \emph{dynamic regret} bounds for non-stationary bandit settings. These settings capture applications such as advertisement allocation, dynamic pricing, and traffic network routing in changing environments. We show how the difficulty posed by the (unknown \emph{a priori} and possibly adversarial) non-stationarity can be overcome by an unconventional marriage between stochastic and adversarial bandit learning algorithms. Our main contribution is a general algorithmic recipe for a wide variety of non-stationary bandit problems. Specifically, we design and analyze the sliding window-upper confidence bound algorithm that achieves the optimal dynamic regret bound for each of the settings when we know the respective underlying \emph{variation budget}, which quantifies the total amount of temporal variation of the latent environments. Boosted by the novel bandit-over-bandit framework that adapts to the latent changes, we can further enjoy the (nearly) optimal dynamic regret bounds in a (surprisingly) parameter-free manner. In addition to the classical exploration-exploitation trade-off, our algorithms leverage the power of the "forgetting principle" in the learning processes, which is vital in changing environments. Our extensive numerical experiments on both synthetic and real world online auto-loan datasets show that our proposed algorithms achieve superior empirical performance compared to existing algorithms.

연구 동기 및 목표

• reward distributions drift over time에 대한 밴딧 학습의 비정상성 다루기.
• 변화에 적응적으로 헤지하면서 탐색과 활용의 균형을 맞추는 알고리즘 개발.
• known and unknown variation budgets 하에서 동적 후회 및 (거의) 최적 경계 정량화.
• drifting linear bandits에서 관련 밴딧 설정(MAB, GLM, combinatorial)으로 프레임워크 확장.
• 합성 데이터와 실제 데이터 세트에서 기존 방법 대비 실험적 성능 향상 입증.

제안 방법

• 최근 데이터에 적합하도록 매개변수 추정을 적응시키기 위한 Sliding Window Regularized Least Squares Estimation(SW-RLSE) 도입.
• 확실성의 낙관성(optimism-in-face-of-uncertainty)과 데이터 의존적 신뢰구간을 갖춘 Sliding Window-UCB(SW-UCB) 제안.
• 윈도우 크기 w와 variation budget B_T에 의존하는 동적 후회 경계 도출; B_T를 알고 있을 때 최적성(로그 인자에 의한 차수)은 달성.
• SW-UCB 윈도우 크기를 적응적으로 조정하는 Bandit-over-Bandit(BOB) 프레임워크 개발; B_T를 모르는 경우에도 성능 향상.
• 비정상 환경에서의 잊어버리기 원칙(f forgetting principle) 적용 및 비정상 설정에 대한 망각 원칙의 확장법 논의.
• drifting linear bandits의 동적 후회에 대한 이론적 하한 및 일치하는 상한(로그 차수 요인에 한해).
• 합성 데이터 및 온라인 자동차 대출 데이터 세트에서 알고리즘을 평가하여 실증적 이득 시현.

실험 결과

연구 질문

• RQ1 variation budget B_T가 알려진 경우 drifting linear bandits에 대해 달성 가능한 동적 후회 경 Bound는 무엇인가?
• RQ2 B_T가 알려지지 않은 경우 동적 후회는 어떻게 되며 적응 프레임워크가 B_T 지식 없이도 거의 최적의 성능을 달성할 수 있는가?
• RQ3 SW-UCB 프레임워크를 선형 밴딧 외의 다른 밴딧 설정(MAB, GLM, combinatorial semi-bandits)으로 확장할 수 있는가?
• RQ4 forgetting 원칙과 적응적 윈도잉이 비정상 환경에서의 성능을 개선하는가?
• RQ5 제안된 방법들이 합성 데이터와 실제 데이터 세트에서 기존의 비정상 밴딧 알고리즘과 비교해 실증적으로 우수한가?

주요 결과

• 윈도우 크기를 조정한 SW-UCB는 B_T가 알려져 있을 때 동적 후회가 거의 최적에 가깝게 달성된다(로그 차수 요인까지).
• BOB 프레임워크는 SW-UCB 윈도우 크기를 적응적으로 조정하고 B_T를 모를 때 거의 최적에 가까운 동적 후회를 달성하여 기존 방법보다 성능이 개선된다.
• forgetting 원칙을 최적성 기반 학습에 적용하면 비정상성에 대한 provable한 후회 보장을 갖고 효과적으로 다룰 수 있다.
• MAB, generalized linear bandits, 및 combinatorial semi-bandits로의 확장은 다양한 운용 연구 문제에 적용 가능성을 넓힌다.
• 합성 데이터와 온라인 자동차 대출 데이터에 대한 광범위한 실험에서 기존 알고리즘에 비해 우수한 실증 성능을 보인다.