[논문 리뷰] Online Algorithms for the Multi-Armed Bandit Problem with Markovian Rewards

Cem Tekin, Mingyan Liu|arXiv (Cornell University)|2010. 07. 14.

Advanced Bandit Algorithms Research참고 문헌 8인용 수 10

한 줄 요약

이 논문은 보상이 마코프 체인에 의해 결정되는 다손대 기회 문제에 대해, 무작위로 선택된 손잡이의 상태가 플레이될 때만 변화하는 경우, 표본 평균 기반 색인 정책을 제안한다. 연구에서는 탐색 상수가 충분히 크다면, 정책이 시간에 관계없이 로그적 성능을 달성함을 증명하며, 이는 전이 확률에 대한 사전 지식이 없더라도 이러한 색인 정책이 순서적으로 최적임을 보여준다.

ABSTRACT

We consider the classical multi-armed bandit problem with Markovian rewards. When played an arm changes its state in a Markovian fashion while it remains frozen when not played. The player receives a state-dependent reward each time it plays an arm. The number of states and the state transition probabilities of an arm are unknown to the player. The player's objective is to maximize its long-term total reward by learning the best arm over time. We show that under certain conditions on the state transition probabilities of the arms, a sample mean based index policy achieves logarithmic regret uniformly over the total number of trials. The result shows that sample mean based index policies can be applied to learning problems under the rested Markovian bandit model without loss of optimality in the order. Moreover, comparision between Anantharam's index policy and UCB shows that by choosing a small exploration parameter UCB can have a smaller regret than Anantharam's index policy.

연구 동기 및 목표

• 보상 분포가 알려져 있지 않고 은폐된 상태 전이에 따라 달라지는 마코프 모드 보상이 있는 다손대 기회 문제에서 최적의 손잡이 선택을 학습하는 데 도전하는 것.
• 플레이되지 않은 손잡이가 현재 상태를 유지하는 '휴식 상태' 마코프 기반 기회 문제에서 표본 평균 기반 색인 정책의 성능을 분석하는 것.
• 이러한 정책이 시간에 관계없이 로그적 성능를 달성할 수 있는 조건을 설정하는 것, 즉 점 渐진적으로가 아니라 균일하게.
• 알려진 파rameter 하에서 이론적으로 최적임이 입증된 안나라마의 색인 정책과 UCB 정책의 실용적 성능를 비교하는 것.
• 특히 이중 상태 마코프 체인에 대해, 탐색 상수에 대한 충분조건를 실무적으로 완화할 수 있는지 조사하는 것.

제안 방법

• 저자는 표본 평균 보상에 플레이 횟수의 역수 비례 탐색 항을 추가한 표본 평균 기반 색인 정책의 분석을 수행한다.
• 손잡이의 전이 행렬의 고유값 간격에 따라 종속되는 성능 한계를 유도하며, 탐색 상수가 충분히 크면 로그적 성능를 달성함을 보여준다.
• 분석은 농도 부등식과 믹싱 시간 및 정상 상태 행동에서의 이탈을 제어하기 위해 길먼의 부등식을 활용한다.
• 이 방법은 전이 확률이 알려져 있지 않고 상태에 따라 보상이 달라지는 유한 상태, 비주기적, 비가역적인 마코프 체인에 적용 가능하다.
• 다양한 탐색 수준에서 성능를 평가하기 위해 전이 매개변수를 변화시킨 이중 상태 마코프 체인에서 수치 시뮬레이션을 수행한다.
• 안나라마의 색인 정책과의 비교는 전이 행렬의 매개변수 가족을 사용하며, $ p_{01}( heta) = ( heta/10)^3 $, $ p_{10}( heta) = 1 - ( heta/10)^2 $, $ \theta \in [0,10] $.

실험 결과

연구 질문

• RQ1 알려진 전이 역학이 없는 휴식 상태 마코프 기반 다손대 기회 문제에서 표본 평균 기반 색인 정책이 균일하게 로그적 성능를 달성할 수 있는가?
• RQ2 이러한 정책이 로그적 성능를 확보하기 위해 필요한 최소 탐색 상수는 무엇이며, 이는 전이 행렬의 고유값 간격과 어떻게 관련되는가?
• RQ3 알려진 파rameter 하에서 이론적으로 최적임이 입증된 안나라마의 색인 정책과 비교해 UCB 정책이 실무에서 더 우수한 성능를 보이는가?
• RQ4 UCB의 이론적 성능 한계는 실제 시뮬레이션에서 관측된 성능와 비교해 얼마나 타이트한가?
• RQ5 특히 이중 상태 마코프 체인에 대해 탐색 상수에 대한 충분조건를 실무적으로 완화할 수 있는가?

주요 결과

• 표본 평균 기반 색인 정책은 탐색 상수 $ L $ 가 $ L > 90S_{\text{max}}^2 r_{\text{max}}^2 / \epsilon_{\text{min}} $ 를 만족할 경우, 균일하게 로그적 성능를 달성한다. 여기서 $ \epsilon_{\text{min}} $ 는 최소 고유값 간격이다.
• 이중 상태 마코프 체인의 경우, UCB 정책은 $ L = 2 $ 일 때도 로그적 성능를 달성하며, 이는 이론적 충분조건를 위반함을 의미한다. 이는 성능 한계가 타이트하지 않을 수 있음을 시사한다.
• 시뮬레이션에서 $ L = 0.05 $ 일 때, UCB 정책은 주어진 시간 범위 내에서 안나라마의 색인 정책보다 낮은 성능를 보였으며, 이는 후자의 이론적 하한선을 고려할 때 놀라운 결과이다.
• UCB의 성능 한계는 $ L = 2000 $ 일 때 $ 45150\ln n + 62.8 $ 이며, 임의의 균일하게 좋은 정책에 대한 이론적 하한은 $ 4.406\ln n $ 이다. 이는 이론과 실무 사이에 큰 격차가 있음을 보여준다.
• 수치 결과는 UCB의 성능가 점 渐진적으로 이론적 하한선에 매우 가까이 수렴함을 보여주며, 실무적으로는 거의 최적임을 시사한다.
• L 이 증가함에 따라 UCB와 안나라마 정책 간의 성능 격차는 점점 줄어들며, $ L $ 이 증가함에 따라 UCB는 이론적 하한선에 수렴한다.