[논문 리뷰] Taming Non-stationary Bandits: A Bayesian Approach

Vishnu Raj, Sheetal Kalyani|arXiv (Cornell University)|2017. 07. 31.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 48

한 줄 요약

이 논문은 비정상적인 다익스트리 밴드잇 문제를 위한 할인 톰슨 샘플링(dTS)과 그 유능한 변형인 dOTS를 제안한다. 이 알고리즘들은 과거 관측치를 지수 감소시키는 베이지안 업데이트와 미선택된 암을 위한 분산 증가 기법을 사용한다. 동적 환경에서 낮고 안정된 리그레트를 달성하며, dOTS는 빠른 변화나 급격한 변화가 발생하는 상황에서 dTS와 표준 톰슨 샘플링을 능가한다.

ABSTRACT

We consider the multi armed bandit problem in non-stationary environments. Based on the Bayesian method, we propose a variant of Thompson Sampling which can be used in both rested and restless bandit scenarios. Applying discounting to the parameters of prior distribution, we describe a way to systematically reduce the effect of past observations. Further, we derive the exact expression for the probability of picking sub-optimal arms. By increasing the exploitative value of Bayes' samples, we also provide an optimistic version of the algorithm. Extensive empirical analysis is conducted under various scenarios to validate the utility of proposed algorithms. A comparison study with various state-of-the-arm algorithms is also included.

연구 동기 및 목표

• 보상 분포가 시간이 지남에 따라 변화하는 비정상적 환경에서의 다익스트리 밴드잇 문제에 대한 과제를 다루기.
• 정상성 가정을 내포하는 표준 톰슨 샘플링의 한계를 극복하여 비정상적 환경에서의 성능을 향상시키기.
• 오래된 관측치의 영향을 체계적으로 감소시키면서도 탐색을 유지하는 베이지안 프레임워크를 개발하기.
• 미선택된 암의 탐색을 향상시키기 위해 사전 분산을 증가시켜 환경 변화에 대한 적응력을 높이기.
• 제안된 알고리즘의 이론적 및 실험적 검증을 다양한 비정상적 밴드잇 시나리오에서 수행하기.

제안 방법

• 과거 관측치의 영향을 시간이 지남에 따라 감소시키기 위해 사전 분포의 매개변수에 지수 감소를 적용한다.
• 시간에 따라 감쇠하는 매개변수를 가진 베타-베르누이 콘jugate 사전 프레임워크를 사용하여 변화하는 성공 확률를 모델링한다.
• 미선택된 암의 사후 분포 분산을 증가시켜 비정상적 환경에서의 탐색을 촉진하는 메커니즘을 도입한다.
• 베이즈 샘플의 탐색적 가치를 높여 더 높은 경험적 평균을 가진 암을 선호하는 방식으로, dOTS라는 옵timistic 변형을 제안한다.
• 비정수 매개변수를 가진 이원 밴드잇 설정에서 하위 최적 암을 선택할 확률에 대한 정확한 해석적 표현을 유도한다.
• dTS와 dOTS를 다양한 비정상적 환경에서 구현하고 평가한다. 이는 느린 변화, 빠른 변화, 급격한 변화를 포함한다.

실험 결과

연구 질문

• RQ1 과거 데이터에 대한 체계적 무시 기법을 통해 표준 톰슨 샘플링을 비정상적 환경에 효과적으로 적응시킬 수 있는가?
• RQ2 미선택된 암의 사전 분산을 증가시키는 것이 동적 밴드잇 환경에서의 성능에 어떤 영향을 미치는가?
• RQ3 비정상성 하에서 비정수 사전 매개변수를 가진 이원 밴드잇 설정에서 하위 최적 암을 선택할 정확한 확률은 무엇인가?
• RQ4 dTS와 dOTS는 EXP3-IX와 REXP3와 같은 최첨단 알고리즘에 비해 리그레트와 적응력 측면에서 어떻게 비교되는가?
• RQ5 dTS와 dOTS는 비정상적 환경에서 암의 수가 증가함에 따라 잘 스케일링되는가?

주요 결과

• dTS와 dOTS는 느린 변화, 빠른 변화, 급격한 변화 환경 전반에서 거의 일정한 정규화된 리그레트를 유지하지만, 표준 톰슨 샘플링은 리그레트가 점점 증가하는 경향을 보인다.
• dOTS는 높은 탐색적 경향을 지니고 있음에도 불구하고, 빠른 변화나 급격한 변화 상황에서 dTS를 능가한다. 이는 옵티미스틱 샘플링이 적응에 도움이 된다는 것을 시사한다.
• REXP3는 랜덤 탐색에 의존하기 때문에 초반 단계에서 어려움을 겪지만, 점차 안정화되며, dTS와 dOTS는 초기 단계부터 일관된 학습을 보인다.
• dTS와 dOTS의 리그레트는 암의 수가 증가함에 따라도 안정적으로 유지되며, REXP3에 비해 암의 수에 대한 의존도가 낮다.
• REXP3는 특히 급격한 변화 환경에서 암의 수가 증가함에 따라 리그레트가 증가하는 경향을 보이며, 암의 수에 매우 민감한 것으로 나타났다.
• 비정수 매개변수에 대해 하위 최적 암 선택 확률에 대한 제안된 정확한 표현은 비정상적 환경에서의 톰슨 샘플링 이론 분석을 위한 기초를 제공하며, 새로운 기여이다.