[논문 리뷰] A Simple Approach for Non-stationary Linear Bandits

Peng Zhao, Lijun Zhang외 2명|arXiv (Cornell University)|2021. 03. 09.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 30

한 줄 요약

논문은 비정상(non-stationary) 선형 밴디트에 대한 이전 분석의 결함을 식별하고 이를 수정하여 간단한 RestartUCB 알고리즘(메타러닝 포함 여부)을 제시하며 동적 후회 〰O(d^{1/2} H^{3/2} P_T + dT/〰bdH) 및 〰O(d^{7/8} T^{3/4} P_T^{1/4}) 를 각각 달성하며 P_T를 알고 있는지 여부에 관계없이 동적 후회를 보장한다.

ABSTRACT

This paper investigates the problem of non-stationary linear bandits, where the unknown regression parameter is evolving over time. Existing studies develop various algorithms and show that they enjoy an $\widetilde{\mathcal{O}}(T^{2/3}P_T^{1/3})$ dynamic regret, where $T$ is the time horizon and $P_T$ is the path-length that measures the fluctuation of the evolving unknown parameter. In this paper, we discover that a serious technical flaw makes their results ungrounded, and then present a fix, which gives an $\widetilde{\mathcal{O}}(T^{3/4}P_T^{1/4})$ dynamic regret without modifying original algorithms. Furthermore, we demonstrate that instead of using sophisticated mechanisms, such as sliding window or weighted penalty, a simple restarted strategy is sufficient to attain the same regret guarantee. Specifically, we design an UCB-type algorithm to balance exploitation and exploration, and restart it periodically to handle the drift of unknown parameters. Our approach enjoys an $\widetilde{\mathcal{O}}(T^{3/4}P_T^{1/4})$ dynamic regret. Note that to achieve this bound, the algorithm requires an oracle knowledge of the path-length $P_T$. Combining the bandits-over-bandits mechanism by treating our algorithm as the base learner, we can further achieve the same regret bound in a parameter-free way. Empirical studies also validate the effectiveness of our approach.

연구 동기 및 목표

• 시간에 따라 알려지지 않은 매개변수가 변화하는 비정상(non-stationary) 선형 밴디트 연구의 동기를 제시한다.
• 이전 분석의 기술적 결점을 바로잡고 유효한 동적 후회 보장을 확립한다.
• 드리프트를 효율적으로 처리하는 간단한 RestartUCB 알고리즘을 메타러닝 여부와 상관없이 제안한다.

제안 방법

• 각 에포크 내에서 에포크 기반 규제된 최소자승법을 사용하는 RestartUCB를 도입한다.
• 자정규화 농도 불평등(self-normalized concentration inequality)과 경로 길이 항을 기반으로 한 상한 신뢰구간(upper confidence bound)을 도출한다.
• 매 H번 반복마다 알고리즘을 재시작하여 매개변수 드리프트에 대응하고 에포크별 후회를 분석한다.
• Bandits-over-Bandits(BOB) 기제를 갖춘 RestartUCB가 P_T를 알지 못하더라도 재시작 주기를 선택함을 보인다.

실험 결과

연구 질문

• RQ1 단순 재시작 UCB 접근으로 비정상(non-stationary) 선형 밴디트에서 달성할 수 있는 동적 후회 경계는 무엇인가요?
• RQ2 매개변수-프리이고 적응적 재시작 스키마가 오라클-조정 방법과 동일한 후회를 달성할 수 있는가요?
• RQ3 Bandits-over-Bandits 프레임워크가 P_T에 대한 사전 지식을 제거하면서도 후회 보장을 유지할 수 있는가요?
• RQ4 제안된 방법이 메모리 및 복잡도 측면에서 윈도우 슬라이딩 방식과 가중치 기반 접근법과 어떻게 비교되나요?
• RQ5 이전에 제시된 분석의 기술적 결함이 시사하는 바는 무엇이며 이를 어떻게 수정할 수 있나요?

주요 결과

• RestartUCB는 정리 2에 따라 동적 후회 〰O(d^{1/2} H^{3/2} P_T + dT/〰bdH) 를 달성한다.
• 최적의 재시작 주기가 선택될 때, P_T를 알고 있을 때 RestartUCB는 동적 후회 〰O(d^{7/8} T^{3/4} P_T^{1/4})를 달성한다.
• RestartUCB-BOB는 P_T에 대한 사전 지식이 필요 없도록 하며 Theorem 3에 따라 〰O(d^{7/8} T^{3/4} P_T^{1/4}) 한계를 유지한다.
• 본 논문은 기존 분석의 기술적 간극을 식별하고 수정하여 Lemma 1 및 관련 결과를 통해 유효한 경계를 보장한다.
• WindowUCB와 비교할 때 RestartUCB 접근은 데이터를 저장하지 않고 상수 메모리와 온라인 업데이트를 사용한다.