[논문 리뷰] Nonstationary Stochastic Multiarmed Bandits: UCB Policies and Minimax Regret

Lai Wei, Vaibhav Srivastava|arXiv (Cornell University)|2021. 01. 22.

Advanced Bandit Algorithms Research참고 문헌 38인용 수 5

한 줄 요약

이 논문은 평균 보상의 변화 예산이 제한된 비정상적인 확률적 다손대 밴디트 문제에 대해 UCB 기반 정책—주기적 리셋, 슬라이딩 윈도우, 할인 방법—을 제안한다. 최소 최악의 성능 기준에서 순서 최적의 최대 위험도를 확립하고, 추정의 안정성을 확보하기 위해 강건한 추정 기법을 활용해 첨도가 높은 분포로 확장함으로써 비정상성 상황에서도 근사 최적의 성능 유지를 달성한다.

ABSTRACT

We study the nonstationary stochastic Multi-Armed Bandit (MAB) problem in which the distribution of rewards associated with each arm are assumed to be time-varying and the total variation in the expected rewards is subject to a variation budget. The regret of a policy is defined by the difference in the expected cumulative rewards obtained using the policy and using an oracle that selects the arm with the maximum mean reward at each time. We characterize the performance of the proposed policies in terms of the worst-case regret, which is the supremum of the regret over the set of reward distribution sequences satisfying the variation budget. We extend Upper-Confidence Bound (UCB)-based policies with three different approaches, namely, periodic resetting, sliding observation window and discount factor and show that they are order-optimal with respect to the minimax regret, i.e., the minimum worst-case regret achieved by any policy. We also relax the sub-Gaussian assumption on reward distributions and develop robust versions the proposed polices that can handle heavy-tailed reward distributions and maintain their performance guarantees.

연구 동기 및 목표

• 보상 평균이 시간에 따라 변화하는 비정상적 환경에서의 확률적 다손대 밴디트 문제에 도전한다.
• 예상 보상의 총 변화를 제약하는 변화 예산을 사용해 문제를 수식화한다.
• 비정상적 환경에서 오래된 정보를 기억하고 오래된 정보를 잊는 것을 균형 잡는 UCB 기반 정책을 설계한다.
• 보상 분포에 대한 서브-가우시안 가정을 완화하여 첨도가 높은 분포를 포함한다.
• 최소 최악의 위험도 기준을 확립하고, 제안된 정책이 이론적 하한선에 대해 순서 최적임을 보여준다.

제안 방법

• 비정상성에 대응하기 위해 주기적 리셋, 슬라이딩 윈도우, 할인 요소 기반 UCB의 세 가지 UCB 정책 변형을 도입한다.
• 시간에 따라 변화하는 평균 하에서 추정 오차를 제어하기 위해 잘라낸 경험 평균과 신뢰구간을 사용한다.
• 첨도가 높은 보상 분포를 다루기 위해 잘라낸 통계와 윈소라이즈된 통계를 활용한 강건한 추정 프레임워크를 적용한다.
• 예측 보상의 총 변화량을 제약하는 변화 예산 $V_T$ 를 정의한다.
• 집중 부등식을 사용해 위험도 기준을 유도하고, 최악의 경우 위험도가 최소 최악의 하한선의 상수 배율 내에 있음을 보여준다.
• 환경 변화에 대응하기 위해 윈도우 크기와 할인 요소 등의 파라미터를 조정하여 탐색과 이용의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 변화 예산이 제한된 비정상적 확률적 MAB 문제에서 UCB 기반 정책이 순서 최적의 최대 위험도를 달성할 수 있는가?
• RQ2 주기적 리셋, 슬라이딩 윈도우, 할인 방법 등의 서로 다른 기억 삭제 메커니즘은 비정상적 환경에서 위험도 성능에 어떤 영향을 미치는가?
• RQ3 강건한 UCB 정책은 서브-가우시안 가정 없이 첨도가 높은 보상 분포 하에서도 순서 최적의 위험도를 유지할 수 있는가?
• RQ4 기존의 밴디트 알고리즘인 Exp3와 DTS는 비정상적 확률적 환경에서 비정상성의 영향을 어떻게 받는가?
• RQ5 시간에 따라 변화하는 보상 분포 하에서도 성능을 유지하는 메모리 효율적인 UCB 정책을 설계할 수 있는가?

주요 결과

• 제안된 UCB 정책인 R-MOSS, SW-MOSS, D-UCB 는 최소 최악의 하한선 $\Omega((KV_T)^{1/3}T^{2/3})$ 의 상수 배율 내에서 최악의 위험도를 달성한다.
• 강건한 버전인 R-RMOSS와 SW-RMOSS 는 일반화된 페레토 노이즈가 있는 첨도가 높은 보상 분포 하에서도 순서 최적의 위험도를 유지한다.
• 수치 실험 결과 R-MOSS와 SW-MOSS 는 비정상적 확률적 환경에서 적대적 밴디트 정책(예: Rexp3, Exp3.S)보다 우수한 성능을 보였다.
• DTS 는 최적의 암이 교체되지 않을 경우 잘 작동하지만, 최적의 암이 변경될 경우 적응이 지연되어 더 높은 위험도를 겪는다.
• 첨도가 높은 설정에서의 위험도 히스토그램을 분석한 결과, R-RMOSS와 SW-RMOSS 는 평균 위험도에서 더 일관되고 편차가 적은 성능을 보였다.
• 할인 요소 기반 방법은 메모리 효율성이 높지만, 첨도가 높은 설정에서 강건한 추정과의 통합은 아직 미해결 과제이다.