[논문 리뷰] Regime Switching Bandits

Xiang Zhou, Yi Xiong외 2명|arXiv (Cornell University)|2020. 01. 26.

Advanced Bandit Algorithms Research참고 문헌 48인용 수 11

한 줄 요약

이 논문은 은폐된 마르코프 상태에 의해 조절되는 제도 전환 보상이 있는 다수의 손잡이 밴딧을 위한 새로운 학습 알고리즘을 제안한다. 이는 은폐된 마르코프 모델의 스펙트럼 추정과 상한 신뢰 구간(UCB) 방법을 결합하여 $O(T^{2/3}\rho\sqrt{\log T})$의 리그레트 경계를 달성하며, 이는 이전의 더 약한 오라클에 의존하는 방법보다 크게 향상된 성능을 보인다.

ABSTRACT

We study a multi-armed bandit problem where the rewards exhibit regime switching. Specifically, the distributions of the random rewards generated from all arms are modulated by a common underlying state modeled as a finite-state Markov chain. The agent does not observe the underlying state and has to learn the transition matrix and the reward distributions. We propose a learning algorithm for this problem, building on spectral method-of-moments estimations for hidden Markov models, belief error control in partially observable Markov decision processes and upper-confidence-bound methods for online learning. We also establish an upper bound $O(T^{2/3}\sqrt{\log T})$ for the proposed learning algorithm where $T$ is the learning horizon. Finally, we conduct proof-of-concept experiments to illustrate the performance of the learning algorithm.

연구 동기 및 목표

• 은폐된 제도가 유한 상태 마르코프 체인으로 모델링되는 다수의 손잡이 밴딧 문제를 다루는 것.
• 기본 상태를 관측하지 못하는 학습 알고리즘을 설계하여 전이 행렬과 보상 분포를 동시에 학습하는 것.
• 은폐된 상태를 모른다는 조건에서 진짜 모델 파라미터를 안다는 강력한 오라클에 대해 비선형 리그레트 경계를 확립하는 것.
• 이전의 더 약한 오라클(예: 최고의 고정된 손잡이 또는 기억이 없는 정책)에 의존하는 방법보다 이론적 성능을 향상시키는 것.

제안 방법

• 알고리즘은 관측된 보상에서 전이 행렬 $P$와 보상 분포 $Q(\cdot|m,i)$를 추정하기 위해 스펙트럼 모멘트 방법 추정기를 사용한다.
• 학습 수명 주기를 중첩된 탐색 및 이용 단계로 나누어 학습과 의사결정의 균형을 맞춘다.
• 각 탐색 단계에서 스펙트럼 추정기는 유한 샘플 보장을 갖는 모델 파라미터를 추정한다.
• 각 이용 단계에서 UCB 방법이 리그레트를 통제하기 위해 사용되며, 업데이트된 믿음 상태 기반의 낙관적 가치 함수를 활용한다.
• 각 이용 단계의 시작 시점에 이전 탐색 단계에서의 최신 파라미터 추정치를 사용해 믿음 상태를 재보정한다.
• 알고리즘은 Azuma-Hoeffding 부등식을 활용해 마르팅게일 집중을 위해 시간에 따른 추정 오차 영향을 제한함으로써 믿음 상태 오차 전파를 통제한다.

실험 결과

연구 질문

• RQ1 은폐된 마르코프 제도 전환을 가진 다수의 손잡이 밴딧 환경에서 학습 알고리즘이 비선형 리그레트를 달성할 수 있는가?
• RQ2 스펙트럼 추정은 부분적으로 관측 가능한 마르코프 결정 과정을 다루기 위해 UCB와 효과적으로 어떻게 조합될 수 있는가?
• RQ3 이 제도 전환 밴딧 모델에서 온라인 학습의 가장 날카로운 리그레트 경계는 무엇인가?
• RQ4 제한된 지식(예: 최고의 고정된 손잡이)을 가진 오라클과 비교해 제안된 알고리즘의 성능은 어떠한가?

주요 결과

• 제안된 알고리즘은 높은 확률로 $O(T^{2/3}\sqrt{\log T})$의 리그레트 경계를 달성한다. 여기서 $T$는 학습 수명 주기이다.
• 리그레트 경계는 은폐된 상태를 모른다는 조건에서 진짜 모델 파라미터를 안다는 강력한 오라클 기준에 따라 확립된다.
• 분석은 은폐된 상태와 $P$ 및 $Q(\cdot|m,i)$의 추정 오차로 인해 발생하는 믿음 상태 오차 전파를 고려한다.
• 스펙트럼 모멘트 방법은 유한 샘플 추정 보장을 제공하여, HMM에서 최대 우도 추정기의 유한 샘플 경계 문제를 해결한다.
• 알고리즘의 성능은 개념 증명 실험을 통해 검증되었으며, 믿음 재보정과 중첩된 단계 설계의 효과성을 입증한다.