[논문 리뷰] Thompson Sampling in Switching Environments with Bayesian Online Change Point Detection

Joseph Mellor, Jonathan Shapiro|arXiv (Cornell University)|2013. 02. 15.

Advanced Bandit Algorithms Research참고 문헌 10인용 수 35

한 줄 요약

이 논문은 갑작스럽게 변화하는 분포를 가진 비정상적인 다수의 손잡이 밴딧 문제를 해결하기 위해 톰슨 샘플링과 베이지안 온라인 변화점 탐지 기법을 융합한 새로운 알고리즘인 변화점 톰슨 샘플링(CTS)을 제안한다. 변화점 탐지 기반의 잠재적 주기 길이를 모델링하고 변화점에 대한 사후 추론을 수행함으로써 비정상적인 환경에서의 성능을 향상시켰으며, Yahoo! 뉴스 클릭률 및 외환 환율과 같은 실제 데이터셋에서 기존의 밴딧 알고리즘 대비 뛰어난 성능을 보였다.

ABSTRACT

Thompson Sampling has recently been shown to be optimal in the Bernoulli Multi-Armed Bandit setting[Kaufmann et al., 2012]. This bandit problem assumes stationary distributions for the rewards. It is often unrealistic to model the real world as a stationary distribution. In this paper we derive and evaluate algorithms using Thompson Sampling for a Switching Multi-Armed Bandit Problem. We propose a Thompson Sampling strategy equipped with a Bayesian change point mechanism to tackle this problem. We develop algorithms for a variety of cases with constant switching rate: when switching occurs all arms change (Global Switching), switching occurs independently for each arm (Per-Arm Switching), when the switching rate is known and when it must be inferred from data. This leads to a family of algorithms we collectively term Change-Point Thompson Sampling (CTS). We show empirical results of the algorithm in 4 artificial environments, and 2 derived from real world data; news click-through[Yahoo!, 2011] and foreign exchange data[Dukascopy, 2012], comparing them to some other bandit algorithms. In real world data CTS is the most effective.

연구 동기 및 목표

• 보상 분포가 시간이 지남에 따라 변화하는 비정상적인 환경에서 표준 톰슨 샘플링의 한계를 해결하기 위해.
• 갑작스러운 전환 상황에서 다수의 손잡이 밴딧 문제에 대해 강력한 방법을 개발하여 전역 및 각 손잡이별 전환 역학을 모두 모델링하기 위해.
• 톰슨 샘플링과 베이지안 온라인 변화점 탐지 기법을 융합하여 시간에 따라 변화하는 환경에서의 적응형 학습을 가능하게 하기 위해.
• 합성 및 실제 데이터셋(예: Yahoo! 뉴스 클릭률 및 외환 환율)을 대상으로 제안된 알고리즘의 성능을 평가하기 위해.
• CTS가 전환 환경에서 경쟁 알고리즘 대비 낮은 손실과 오류율을 달성함을 입증하기 위해.

제안 방법

• 보상 분포가 급격히 변화하는 전환 시스템으로 환경를 모델링하며, 전환 빈도는 알려진 또는 추정된 전환 확률 함수로 제어한다.
• 최근 변화점 이후 경과한 시간을 나타내는 잠재적 주기 길이 변수 $ r_t $ 를 도입하고, 이를 통해 $ P( heta|D_{t-1}) $ 를 계산하기 위해 적분을 수행한다.
• 베르누이 보상에 대해 공액 사전분포(베타 분포)를 사용하고, 최근 변화점 이후의 보상을 기반으로 $ heta_j $ 에 대한 사후 믿음을 갱신한다.
• 베이지안 온라인 변화점 탐지 기법(Fearnhead & Liu, 2007; Adams & MacKay, 2007)을 적용하여 $ P(r_t|D_{t-1}) $ 를 추정한다.
• 먼저 $ P(r_t|D_{t-1}) $ 에서 샘플을 추출하고, 이를 바탕으로 $ P( heta|D_{t-1}, r_t) $ 에서도 샘플을 추출한 후, 가장 높은 샘플된 $ heta_j $ 를 가진 손잡이를 선택함으로써 비정상적 환경에서의 톰슨 샘플링을 실현한다.
• 모든 손잡이가 동시에 전환되는 전역 전환과 각 손잡이가 독립적으로 전환되는 개별 전환을 모두 처리할 수 있도록 프레임워크를 확장하며, 전환 빈도가 알려져 있는지 여부에 따라 변형된 버전을 제공한다.

실험 결과

연구 질문

• RQ1 갑작스럽고 알려지지 않은 보상 분포 변화가 발생하는 환경에서 톰슨 샘플링이 어떻게 성능을 유지할 수 있는가?
• RQ2 베이지안 온라인 변화점 탐지 기법을 통해 전환 역학을 모델링할 경우, 비정상적인 밴딧 문제에서 손실과 학습 효율성에 어떤 영향을 미치는가?
• RQ3 전역 전환 모델과 개별 전환 모델은 시간에 따라 변화하는 환경에서 알고리즘 성능에 어떤 영향을 미치는가?
• RQ4 제안된 변화점 톰슨 샘플링(CTS) 프레임워크가 실제 비정상적인 데이터에서 표준 밴딧 알고리즘(UCE 및 할인 UCB)을 초월할 수 있는가?
• RQ5 전환 빈도가 데이터로부터 추정되는 경우와 알려져 있는 경우에 CTS의 성능는 어떻게 달라지는가?

주요 결과

• Yahoo! 프론트 페이지 클릭 로그 데이터셋에서, Global-CTS2는 $ 0.443 \times 10^{-3} $ (±0.031)의 가장 낮은 손실을 기록하여 UCB ($ 0.526 \times 10^{-3} $) 및 할인 UCB ($ 0.568 \times 10^{-3} $) 를 압도적으로 앞섰다.
• 외환 환율 밴딧 환경에서는 NP Global-CTS가 $ 348.2 \times 10^{-3} $ (±13.7)의 가장 낮은 오류율을 기록하여 UCB ($ 613.9 \times 10^{-3} $) 및 랜덤($ 623.3 \times 10^{-3} $) 보다 유의미하게 떨어졌다.
• 특정 변화점 탐지를 명시적으로 수행하지 않고도 최고의 손잡이에서의 변화를 추적하는 Global-CTS2 버전이 Yahoo! 데이터에서 가장 뛰어난 성능을 보였으며, 이는 단순한 전환 적응 전략이 효과적일 수 있음을 시사한다.
• 비모수적 사전분포(NP)를 사용한 CTS 변형 버전은 합성 및 실제 데이터셋 모두에서 뛰어난 성능을 보였으며, 이는 모델 잘못 설정에 대한 강건성을 시사한다.
• 모든 테스트 환경에서 CTS는 낮은 손실과 오류율을 유지하며, 인위적 및 실제 비정상적인 밴딧 문제 모두에서 효과적인 성능을 입증했다.
• PASCAL 챌린지 데이터셋에서는 성능이 열등했지만, 실제 데이터에서는 뛰어난 결과를 보였으며, 이는 동적 환경에서의 실용적 유용성을 검증한다.