[논문 리뷰] Multi-Armed Bandits for Correlated Markovian Environments with Smoothed Reward Feedback

Tanner Fiez, Shreyas Sekar외 1명|arXiv (Cornell University)|2018. 03. 11.

Advanced Bandit Algorithms Research참고 문헌 35인용 수 3

한 줄 요약

이 논문은 결정자가 상태 정보를 확보하지 못하고 각 에포크당 평균화된 보상만 관찰하는 상관적 마르코프 환경에서 보상 피드백이 스무딩된 다수의 보상 밴드잇 문제를 위한 EpochUCB 및 EpochGreedy 알고리즘을 제안한다. 알고리즘은 암에 종속된 선형 증가하는 에포크 길이를 사용하여 선형 이외의 누적 손실을 달성하며, 이러한 환경에서 UCB와 ε-greedy가 겪는 선형 손실을 극복한다.

ABSTRACT

We study a multi-armed bandit problem in a dynamic environment where arm rewards evolve in a correlated fashion according to a Markov chain. Different than much of the work on related problems, in our formulation a learning algorithm does not have access to either a priori information or observations of the state of the Markov chain and only observes smoothed reward feedback following time intervals we refer to as epochs. We demonstrate that existing methods such as UCB and $\varepsilon$-greedy can suffer linear regret in such an environment. Employing mixing-time bounds on Markov chains, we develop algorithms called EpochUCB and EpochGreedy that draw inspiration from the aforementioned methods, yet which admit sublinear regret guarantees for the problem formulation. Our proposed algorithms proceed in epochs in which an arm is played repeatedly for a number of iterations that grows linearly as a function of the number of times an arm has been played in the past. We analyze these algorithms under two types of smoothed reward feedback at the end of each epoch: a reward that is the discount-average of the discounted rewards within an epoch, and a reward that is the time-average of the rewards within an epoch.

연구 동기 및 목표

• 상태 정보나 즉각적인 피드백에 접근할 수 없는 상황에서 보상이 상관적인 마르코프 체인에 의해 변화하는 다수의 보상 밴드잇 문제를 해결하기 위해.
• 디지털 플랫폼 및 전자상거래와 같이 보상 피드백이 배치 처리되고 지연되는 실세계 시스템을 모델링하기 위해.
• 기존의 밴드잇 알고리즘인 UCB와 ε-g리디가 상태 상관성과 지연된 피드백을 고려하지 못함으로써 이 환경에서 선형 손실을 겪는다는 것을 보여주기 위해.
• 제한된 피드백과 상태 관측 없이도 선형 이외의 누적 손실을 달성할 수 있는 새로운 알고리즘을 개발하기 위해.
• 두 가지 유형의 스무딩된 피드백, 즉 할인 평균 및 시간 평균 보상에 대한 성능 분석을 수행하기 위해.

제안 방법

• 알고리즘은 각 암이 과거에 선택된 횟수에 비례하여 선형적으로 증가하는 길이를 갖는 에포크 단위로 작동하며, 각 암이 반복적으로 재생된다.
• 에포크 길이는 해당 암이 선택된 누적 횟수에 의해 결정되며, 시간이 지남에 따라 각 암에 대해 더 긴 탐색 기간을 보장한다.
• 스무딩된 보상 피드백는 각 에포크 내의 순시 보상의 시간 평균 또는 할인 평균으로 계산된다.
• 이론적 분석은 마르코프 체인의 혼합 시간 경계를 활용하여 관측된 보상과 정적 분포 보상 간의 편차를 제어한다.
• 손실 경계는 혼합 시간과 탐색-이용 갈등 성분으로 손실을 분해하여 유도된다.
• 알고리즘은 상태 분포를 정적 상태에 수렴시키도록 설계되어 있어, 지연되고 스무딩된 피드백에도 불구하고 신뢰할 수 있는 보상 추정이 가능하다.

실험 결과

연구 질문

• RQ1 표준 밴드잇 알고리즘인 UCB와 ε-greedy는 스무딩된 배치 피드백이 존재하는 상관적 마르코프 환경에서 선형 이외의 누적 손실을 달성할 수 있는가?
• RQ2 고정 길이의 에포크 대비 증가하는 에포크 길이가 이러한 환경에서 손실에 미치는 영향은 어떠한가?
• RQ3 결정자가 기저의 마르코프 상태에 접근할 수 없고 평균 보상만 관찰할 경우 선형 이외의 누적 손실을 보장할 수 있는가?
• RQ4 시간 평균 대비 할인 평균의 스무딩된 보상 피드백 모델은 상관적 마르코프 밴드잇에서 효과적인 학습을 가능하게 하는 조건은 무엇인가?
• RQ5 마르코프 체인의 혼합 시간 성질을 활용하여 비정적이고 상관적인 보상 환경에서의 손실 보상 경계를 유도할 수 있는가?

주요 결과

• 표준 UCB와 ε-greedy 알고리즘은 상태 분포를 안정화하지 못함으로써 제안된 상관적 마르코프 환경에서 스무딩된 피드백를 받는 경우 선형 손실을 겪는다.
• EpochUCB와 EpochGreedy는 암에 종속된 선형 증가하는 에포크 길이를 사용하여 시스템이 정적 상태에 수렴하도록 함으로써 선형 이외의 누적 손실을 달성한다.
• 손실 경계는 기저의 마르코프 체인의 혼합 시간에 비례하여 증가하며, 느린 혼합 시간은 더 높은 손실을 초래함을 보여준다.
• 분석 결과는 고정 길이의 에포크는 선형 손실을 초래함을 보여주며, 이는 이러한 환경에서 적응형 에포크 증가의 필요성을 정당화한다.
• 시간 평균 또는 할인 평균의 스무딩된 보상 피드백 모델은 충분히 긴 에포크와 함께 사용될 경우 정적 보상 추정이 신뢰성 있게 가능하다.
• 할인 평균 및 시간 평균 피드백에 대해 이론적 보장이 확립되었으며, 두 경우 모두 선형 이외의 누적 손실을 달성할 수 있음을 보여준다.