[논문 리뷰] On Abruptly-Changing and Slowly-Varying Multiarmed Bandit Problems

Lai Wei, Vaibhav Srivastava|arXiv (Cornell University)|2018. 02. 23.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 돌연 변화하는 환경과 천천히 변화하는 환경에서 비정상적인 다손대 밴딧 문제를 위한 두 가지 새로운 알고리즘—제한된 메모리 기반의 탐색 및 이용 순서 정렬(LM-DSEE)과 슬라이딩 윈도우 기반 상한 신뢰도 알고리즘(SW-UCB#)—을 제안한다. 비선형 예상 누적 손실 한계를 확립하여 시간 평균 손실이 渐진적으로 0으로 수렴함을 증명하며, 적응형 윈도우 기반으로 인해 SW-UCB#이 LM-DSEE보다 더 낮은 주요 상수를 확보한다.

ABSTRACT

We study the non-stationary stochastic multiarmed bandit (MAB) problem and propose two generic algorithms, namely, the limited memory deterministic sequencing of exploration and exploitation (LM-DSEE) and the Sliding-Window Upper Confidence Bound# (SW-UCB#). We rigorously analyze these algorithms in abruptly-changing and slowly-varying environments and characterize their performance. We show that the expected cumulative regret for these algorithms under either of the environments is upper bounded by sublinear functions of time, i.e., the time average of the regret asymptotically converges to zero. We complement our analytic results with numerical illustrations.

연구 동기 및 목표

• 보상 분포가 돌연 또는 점진적으로 변화하는 비정상적 환경에서 다손대 밴딧(MAB) 알고리즘의 격차를 해소하기 위해.
• 비정상적 환경에서도 예상 누적 손실이 비선형을 유지하도록 알고리즘을 개발하여 장기적으로 성능 향상이 이루어지도록 보장하기 위해.
• 로봇 궤적 계획과 같은 운동 제약 조건이 있는 응용 분야에 적합한 결정론적 구조 알고리즘(LM-DSEE)을 도입하기 위해.
• 슬라이딩 윈도우 UCB 방법에서의 시간 범위 길이 의존성을 완화하기 위해 SW-UCB#에서 시간에 따라 변하는 윈도우 길이를 도입하기 위해.
• 두 알고리즘에 대한 이론적 손실 한계와 수치적 검증을 제공하기 위해.

제안 방법

• LM-DSEE는 최근 보상 데이터를 추적하고 결정론적 탐색-이용 사이클을 강제하기 위해 제한된 메모리 윈도우를 사용하여 DSEE 프레임워크를 비정상적 환경에 확장한다.
• SW-UCB#은 고정된 윈도우 길이 대신 시간에 따라 변하는 슬라이딩 윈도우 폭을 사용함으로써 SW-UCB를 개선하여 문제의 시간 범위에 대한 사전 지식이 필요 없도록 한다.
• 알고리즘은 상한 신뢰도를 사용하여 탐색과 이용의 균형을 이루며, 신뢰 구간은 허프딩 부등식과 농도 경계에서 유도된다.
• 손실 분석은 베르슈타인 유형의 부등식과 尾확률 경계를 활용하여 비최적 암 선택의 가능성을 통제한다.
• 이론적 한계는 손실을 탐색 및 이용 성분으로 분해하고, 변화점과 윈도우 통계의 조심스러운 처리를 통해 유도된다.
• 수치 시뮬레이션은 돌연 변화의 경우 변화점이 다른 10손대 밴딧과 베타 분포 보상을 사용하며, 서서히 변화하는 경우 이격률을 변화시켜 성능을 검증한다.

실험 결과

연구 질문

• RQ1 LM-DSEE와 같은 결정론적 구조 알고리즘이 돌연 변화 및 서서히 변화하는 MAB 환경에서 비선형 손실을 유지할 수 있는가?
• RQ2 SW-UCB#이 시간에 따라 윈도우 길이를 적응적으로 조정함으로써 고정 윈도우 기반 SW-UCB보다 더 나은 손실 성능을 달성하는가?
• RQ3 비정상적 환경에서 LM-DSEE와 SW-UCB#의 예상 누적 손실에 대한 이론적 상한은 무엇인가?
• RQ4 LM-DSEE와 SW-UCB#의 손실 한계에서 주요 상수는 어떻게 비교되며, 그 차이는 무엇을 설명하는가?
• RQ5 두 알고리즘이 변화 시점이나 시간 범위 길이에 대한 사전 지식 없이 보상 분포의 변화를 효과적으로 추적할 수 있는가?

주요 결과

• LM-DSEE의 예상 누적 손실은 $ O(T^{1 - \frac{\nu}{3}} \tfrac{\text{ln} T}{T}) $ 이하로 상한이 설정되며, 여기서 $ \nu $ 는 비정상성의 정도를 제어하는 변수이다.
• SW-UCB#의 예상 누적 손실은 $ O(T^{1 - \frac{\nu}{3}} \text{ln} T) $ 이하로 상한이 설정되며, LM-DSEE보다 더 낮은 주요 상수를 확보한다.
• 두 알고리즘과 환경 모두에서 경험적 손실과 이론적 상한의 비율은 상수 이하로 상한이 설정되어 이론적 분석의 타당성을 검증한다.
• LM-DSEE의 손실에서 관찰되는 사각파턴은 고정된 탐색 에포크에 기인하며, SW-UCB#은 적응형 윈도우 기반으로 더 매끄러운 손실 곡선을 보인다.
• 수치 결과는 두 알고리즘이 비선형 손실을 달성하며, 돌연 변화 및 서서히 변화하는 환경 모두에서 시간 평균 손실이 점차 0으로 수렴함을 확인한다.
• 두 알고리즘의 성능은 비정상성 매개변수 $ \nu $ 와 $ \kappa $ 에 대해 강건하며, SW-UCB#이 주로 상수 측면에서 항상 LM-DSEE를 능가한다.