[논문 리뷰] Non-Stationary Bandit Learning via Predictive Sampling

Yueyang Liu, Kuang, Xu외 1명|arXiv (Cornell University)|2022. 05. 04.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 비정상적인 환경에서 보상 분포가 시간에 따라 변화하는 상황에서 정보의 지속성(정보 내구성)을 고려함으로써 탐색을 향상시키는 새로운 밴딧 알고리즘인 예측 샘플링(PS)을 제안한다. 톰슨 샘플링과 달리 모든 정보를 동일하게 취급하는 것과는 달리, PS는 미래 보상 시퀀스를 샘플링하여 정보가 오래 지속되는 행동을 우선시함으로써, 비정상적인 환경에서 상당히 향상된 리그레트 경계와 실증 성능을 달성한다.

ABSTRACT

Thompson sampling has proven effective across a wide range of stationary bandit environments. However, as we demonstrate in this paper, it can perform poorly when applied to non-stationary environments. We attribute such failures to the fact that, when exploring, the algorithm does not differentiate actions based on how quickly the information acquired loses its usefulness due to non-stationarity. Building upon this insight, we propose predictive sampling, an algorithm that deprioritizes acquiring information that quickly loses usefulness. A theoretical guarantee on the performance of predictive sampling is established through a Bayesian regret bound. We provide versions of predictive sampling for which computations tractably scale to complex bandit environments of practical interest. Through numerical simulations, we demonstrate that predictive sampling outperforms Thompson sampling in all non-stationary environments examined.

연구 동기 및 목표

• 정보 내구성을 고려하지 못함으로써 톰슨 샘플링이 비정상적 밴딧 환경에서 성능이 열 劣하는 문제를 해결하기 위해.
• 정보가 유용하게 유지되는 기간에 따라 탐색을 체계적으로 조정할 수 있는 알고리즘을 개발하기 위해.
• 비정상적 밴딧에서 리그레트를 분석하기 위한 새로운 정보 이론적 프레임워크를 수립하기 위해.
• 예측 샘플링이 이론적 경계와 수치 실험을 통해 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 개별 평균 보상이 아닌 미래 보상 시퀀스 전체를 샘플링하는 톰슨 샘플링의 변종으로서 예측 샘플링(PS)을 제안한다.
• 베이지안 추론을 사용해 가능한 미래 보상 경로를 샘플링한 후, 샘플된 시퀀스 하에서 기대 보상이 가장 높은 행동을 선택한다.
• 미래 보상 예측에 유용한 정보의 비율을 정량화하기 위해 예측 정보 개념을 도입한다.
• AR(1) 밴딧에 대한 효율적인 계산 절차와 AR(1) 로지스틱 밴딧에 대한 실용적인 근사법을 개발한다.
• 시간에 따라 변화하는 보상 분포와 정보 감쇠를 고려한 새로운 정보 비율 및 리그레트 경계 프레임워크를 수립한다.
• 누적 예측 정보 Δ로 표현된 베이지안 리그레트 경계를 사용해 성능를 분석한다.

실험 결과

연구 질문

• RQ1 왜 톰슨 샘플링은 정상적 환경에서는 성공했지만 비정상적 환경에서는 성능이 열 劣하는가?
• RQ2 시간에 따라 변화하는 환경에서 정보의 내구성에 따라 탐색을 어떻게 동적으로 조정할 수 있는가?
• RQ3 특히 미래 보상 시퀀스를 샘플링 타겟으로 삼는 수정된 방법이 비정상적 밴딧에서 더 나은 성능을 낼 수 있는가?
• RQ4 정보 감쇠가 있는 비정상적 밴딧에서 리그레트를 분석하기 위해 어떤 이론적 프레임워크가 필요한가?
• RQ5 예측 샘플링은 비정상적 환경에서 톰슨 샘플링 및 기타 기준 알고리즘과 비교해 실증적으로 어떻게 성능가능한가?

주요 결과

• 예측 샘플링은 테스트된 모든 비정상적 환경에서 톰슨 샘플링을 뛰어넘는 성능을 보였다. 이는 비대칭적인 정보 내구성 조건에서도 마찬가지였다.
• 빠르게 변화하는 평균 보상(γ₁ = 0.1)을 가진 이원 밴딧에서 PS는 정보 내구성이 낮은 행동을 톰슨 샘플링보다 덜 선택함으로써, 일시적인 정보에 조기 탐색을 피했다.
• 톰슨 샘플링이 거의 최악의 리그레트를 겪는 극단적인 비정상적 상황에서도 PS는 거의 최적의 성능을 달성했다.
• 이론적 분석을 통해 누적 예측 정보 Δ로 표현된 베이지안 리그레트 경계를 확립함으로써 PS의 일반적인 성능 보장을 제공했다.
• 수치 실험 결과, PS는 TS 및 기타 기준 알고리즘보다 더 많은 평균 보상을 누적했으며, 95% 신뢰구간이 일관되게 우월함을 확인했다.
• 제안된 정보 이론적 프레임워크는 내구성 있는 정보와 일시적인 정보를 구분함으로써, 비정상적 밴딧에 대한 리그레트 분석을 성공적으로 확장했다.