[논문 리뷰] A Change-Detection based Framework for Piecewise-stationary Multi-Armed Bandit Problem

Fang Liu, Joohyun Lee외 1명|arXiv (Cornell University)|2017. 11. 08.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 15

한 줄 요약

이 논문은 보상 분포의 변화를 탐지하고 UCB 탐색을 재시작하는 변화 탐지 기반 프레임워크인 CD-UCB를(piecewise-stationary 다수의 손잡이 밴딧에 대해 제안한다. CUSUM 및 Page-Hinkley 테스트를 사용하여 CUSUM-UCB와 PHT-UCB를 구현하였으며, 약간의 가정 하에 기존에 알려진 최고의 리그레트 상한 $O(\sqrt{T\gamma_T\log(T/\gamma_T)})$를 달성하였다. 이는 합성 데이터와 실세계적 데이터(Yahoo! 클릭률)에서 기존 정책보다 뛰어난 성능을 보였다.

ABSTRACT

The multi-armed bandit problem has been extensively studied under the stationary assumption. However in reality, this assumption often does not hold because the distributions of rewards themselves may change over time. In this paper, we propose a change-detection (CD) based framework for multi-armed bandit problems under the piecewise-stationary setting, and study a class of change-detection based UCB (Upper Confidence Bound) policies, CD-UCB, that actively detects change points and restarts the UCB indices. We then develop CUSUM-UCB and PHT-UCB, that belong to the CD-UCB class and use cumulative sum (CUSUM) and Page-Hinkley Test (PHT) to detect changes. We show that CUSUM-UCB obtains the best known regret upper bound under mild assumptions. We also demonstrate the regret reduction of the CD-UCB policies over arbitrary Bernoulli rewards and Yahoo! datasets of webpage click-through rates.

연구 동기 및 목표

• 보상 분포가 시간이 지남에 따라 변화하는 비정상적인 환경에서 고전적인 다수의 손잡이 밴딧 알고리즘의 한계를 해결하기 위해.
• 변화 포인트를 탐지하고 밴딧 정책을 재시작하여 성능을 유지하는 능동적 적응 프레임워크를 개발하기 위해.
• 조각별 정상 상태 조건 하에서 변화 탐지 기반 UCB 정책의 이론적 리그레트 상한을 제공하기 위해.
• 합성 및 실세계 데이터에서 수동 적응 정책과 기존 능동 적응 정책보다 제안된 방법의 경험적 우수성을 입증하기 위해.

제안 방법

• 변화 탐지 알고리즘을 UCB와 통합하여 분포 변화를 탐지하고 UCB 지수를 재시작하는 일반적인 CD-UCB 프레임워크를 제안하기 위해.
• 누적 합(CUSUM) 테스트를 사용하여 보상 평균의 변화를 탐지하는 누적 합 통계량을 활용해 CUSUM-UCB를 구현하기 위해.
• 기준 평균에서의 변화의 누적 합을 기반으로 변화를 탐지하는 페이지-힌클리 테스트(PHT)를 사용하여 PHT-UCB를 구현하기 위해.
• 기본 변화 탐지 알고리즘의 탐지 지연 및 오류 경고 비율에 기반하여 CD-UCB 정책의 일반적인 리그레트 상한을 유도하기 위해.
• 합성 베르누이 보상 환경과 실세계적 Yahoo! 웹페이지 클릭률 데이터에 이 프레임워크를 적용하기 위해.
• 경험적 성능 비교를 위해 비선형 최소 제곱 피팅을 사용하여 $at^b + c$에서의 비선형 리그레트 지수 $b$를 추정하기 위해.

실험 결과

연구 질문

• RQ1 수동 적응 정책과 비교할 때, 변화 탐지 기반 프레임워크는 조각별 정상 상태 다수의 손잡이 밴딧 문제에서 리그레트 성능을 향상시킬 수 있는가?
• RQ2 변화를 탐지하고 반응하는 능동적 적응 UCB 정책의 이론적 리그레트 상한은 무엇인가?
• RQ3 다양한 변화 빈도와 환경에서 CUSUM-UCB와 PHT-UCB는 리그레트와 탐지 신뢰성 측면에서 어떻게 비교되는가?
• RQ4 제안된 프레임워크는 실세계 데이터에서 D-UCB, SW-UCB, Exp3.R, Rexp3와 같은 기존 정책보다 더 뛰어난 경험적 성능을 달성하는가?
• RQ5 왜 PHT-UCB는 저변화 환경에서는 CUSUM-UCB를 능가하지만 고변화 설정에서는 성능이 열 劣하는가?

주요 결과

• CUSUM-UCB는 조각별 정상 상태 가정 하에 기존 정책보다 더 날카로운 리그레트 상한 $O(\sqrt{T\gamma_T\log(T/\gamma_T)})$를 달성하였다.
• 변화 포인트가 $\gamma_T$개인 합성 베르누이 환경에서, CUSUM-UCB와 PHT-UCB는 각각 $b=0.72$와 $b=0.69$의 비선형 리그레트 지수를 보였으며, 이는 D-UCB($b=0.89$)와 SW-UCB($b=0.84$)보다 유의미하게 낮았다.
• K=5인 Yahoo! 데이터셋에서, 수동 적응 정책(D-UCB, SW-UCB, Rexp3)은 선형 리그레트($b \approx 1$)를 보였지만, CUSUM-UCB와 PHT-UCB는 각각 $b=0.69$와 $b=0.79$의 비선형 리그레트를 달성하였다.
• 더 큰 K=100 Yahoo! 실험에서는 CUSUM-UCB가 $b=0.85$로 강력한 성능 유지를 보였고, PHT-UCB는 약간 악화되어 $b=0.90$로 나타나, 고변화 빈도에 민감한 것으로 나타났다.
• PHT-UCB는 $\hat{y}_k$의 업데이트로 인해 더 안정적인 추정을 하여 저변화 환경에서 CUSUM-UCB를 능가하지만, 탐지 이전에 추정치의 드리프트가 발생함으로써 고변화 환경에서는 성능이 열 劣한다.
• 경험적 결과는 변화 탐지에 의한 능동적 적응이 수동 적응보다 더 뛰어난 성능을 낼 수 있음을 확인하였으며, 특히 변화가 흔하지 않고 예측 가능할 경우에 더욱 두드러졌다.