[논문 리뷰] Multi-Armed Bandits with Non-Stationary Rewards

Corinna Cortes, Giulia DeSalvo외 3명|arXiv (Cornell University)|2017. 10. 29.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 7

한 줄 요약

이 논문은 비정상적인 보상이 있는 다수의 손잡이 밴딧에 대한 이론적 분석을 제안하며, 비정상성의 정도를 측정하는 가중 편차를 사용하는 UCB 유형 알고리즘을 제안한다. 자연스러운 조건 하에서 표준 및 경로 의존적 동적 의사결정 오차 모두에 대해 로그 수준의 오차 한계를 달성하며, 비정상적인 확률 과정을 위한 통합된 프레임워크를 제공한다.

ABSTRACT

The multi-armed bandit problem where the rewards are realizations of general non-stationary stochastic processes is a challenging setting which has not been previously tackled in the bandit literature in its full generality. We present the first theoretical analysis of this problem by deriving guarantees for both the path-dependent dynamic pseudo-regret and the standard pseudo-regret that, remarkably, are both logarithmic in the number of rounds under certain natural conditions. We describe several UCB-type algorithms based on the notion of weighted discrepancy, a key measure of non-stationarity for stochastic processes. We show that discrepancy provides a unified framework for the analysis of non-stationary rewards. Our experiments demonstrate a significant improvement in practice compared to standard benchmarks.

연구 동기 및 목표

• 다수의 손잡이 밴딧 문제에서 일반적인 비정상적인 확률 과정에 대한 밴딧 문헌에서의 격차를 해소하기 위해.
• 비정상적인 환경에서 표준 및 경로 의존적 동적 의사결정 오차에 대한 이론적 보장을 개발하기 위해.
• 확률 과정에 대한 비정상성의 통합 측정 도구로 가중 편차를 도입하기 위해.
• 이 측정 도구를 사용하여 비정상적인 보상 분포에 적응하는 UCB 유형 알고리즘 설계하기 위해.
• 제안된 알고리즘을 표준 벤치마크와 비교하여 실험적으로 검증하고 실용적 성능 향상을 보여주기 위해.

제안 방법

• 비정상성의 정도를 측정하기 위해 새로운 측정 도구인 가중 편차를 제안한다.
• 가중 편차를 통합하여 탐색과 이용의 균형을 적응적으로 조정하는 UCB 유형 알고리즘을 설계한다.
• 가중 편차의 시간에 따른 증가율을 분석하여 이론적 오차 한계를 유도한다.
• 보상 과정에 대한 미약한 정규성 조건 하에서 표준 및 경로 의존적 동적 의사결정 오차 모두에 대해 로그 수준의 한계를 확립한다.
• 시간 가중 평균을 사용하여 변화하는 평균 보상을 추정하고, 비정상성에 대응한다.
• 각 손잡이의 추정된 편차에 따라 동적으로 조정되는 신뢰 구간 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 일반적인 비정상적인 확률적 보상이 있는 다수의 손잡이 밴딧에서 로그 수준의 오차를 달성할 수 있는가?
• RQ2 보상 과정의 비정상성은 어떻게 공식적으로 측정하고 알고리즘 설계에 활용할 수 있는가?
• RQ3 비정상성 하에서 표준 및 동적 오차를 모두 분석할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ4 가중 편차 기반의 UCB 유형 알고리즘이 실생활에서 표준 벤치마크를 초월하는가?
• RQ5 비정상적인 밴딧 환경에서 로그 수준의 오차를 보장하기 위한 이론적 조건은 무엇인가?

주요 결과

• 제안된 알고리즘은 보상 과정에 대한 자연스러운 조건 하에서 로그 수준의 표준 의사결정 오차를 달성한다.
• 경로 의존적 동적 의사결정 오차 역시 로그 수준임이 입증되어 중요한 이론적 진전을 이룬다.
• 가중 편차는 다양한 비정상적인 보상 과정을 분석할 수 있도록 하는 통합 측정 도구로 기능한다.
• 비정상성의 특정 비모수적 형태를 가정하지 않아도 이론적 보장을 도출할 수 있어 일반성과 강도를 높인다.
• 실험 결과는 비정상적인 환경에서 표준 UCB 및 기준 알고리즘 대비 일관된 성능 향상을 보여준다.
• 적응적 가중치를 통해 천천히 변화하는가, 급격히 변화하는가에 관계없이 보상 분포를 효과적으로 처리한다.