[논문 리뷰] Regret Bounds for Restless Markov Bandits

Ronald Ortner, Daniil Ryabko외 2명|arXiv (Cornell University)|2012. 09. 12.

Advanced Bandit Algorithms Research참고 문헌 1인용 수 32

한 줄 요약

이 논문은 각 암 보상이 상호 독립적이고 기약불가능한 마르코프 체인에 따라 변화하는 '무거운 마르코프 밴딧 문제'를 위한 알고리즘을 제안한다. 근사 MDP를 구성하고 UCRL2 알고리즘을 적응시킴으로써, 전이 분포나 주기성에 대한 사전 지식 없이도 최적 정책에 대해 $\tilde{O}(\sqrt{T})$의 리그레트 한계를 달성하며, 이 설정에서 색인 기반 정책이 본질적으로 열등함을 입증한다.

ABSTRACT

We consider the restless Markov bandit problem, in which the state of each arm evolves according to a Markov process independently of the learner's actions. We suggest an algorithm that after $T$ steps achieves $ ilde{O}(\sqrt{T})$ regret with respect to the best policy that knows the distributions of all arms. No assumptions on the Markov chains are made except that they are irreducible. In addition, we show that index-based policies are necessarily suboptimal for the considered problem.

연구 동기 및 목표

• 끌어당김 행동과 무관하게 암 상태가 독립적인 마르코프 체인에 따라 변화하는 무거운 마르코프 밴딧 문제를 다루기 위해.
• 최소한의 가정(기약불가능성만) 하에 최적 정책에 대해 유한 시간 리그레트 한계를 도출하기 위해(가장 좋은 암이 아닌).
• 이 설정에서 색인 기반 정책이 반드시 열등함을 보여주기 위해.
• 리그레트가 $T$, 암의 수, 마르코프 체인의 직경과 혼합 시간에만 의존하는 리그레트 한계를 제공하기 위해.
• 주기적인 마르코프 체인과 알려지지 않은 상태 공간으로의 결과 확장하여 리그레트 스케일링에 미치는 영향을 최소화하기 위해.

제안 방법

• 최근 관측 이후 경과한 단계 수에 따라 상태를 집계하여 기저의 POMDP를 근사 MDP로 표현하기 위해.
• 전이 및 보상 추정치에 대한 신뢰구간을 사용하여 근사 MDP에서 학습하기 위해 UCRL2 알고리즘을 적응시키기 위해.
• 모든 상태와 전이가 충분히 탐색되도록 하는 샘플링 기법을 사용하고, 마르코프 체인 혼합 성질에 기반한 탐색 시간의 경계를 도출하기 위해.
• 전이 및 보상 확률 추정 오차를 제어하기 위해 농도 불등식을 적용하여 고확률 리그레트 한계를 확보하기 위해.
• 주기적인 마르코프 체인을 처리하기 위해 $m$-단계 전이를 고려하고 주기 모듈로 내에서 같은 단계에 속한 상태를 집계하기 위해.
• 모든 상태를 발견하기 위해 알려지지 않은 상태 공간에 대해 주기적 탐색 단계를 추가하여 알고리즘을 확장하고, 이에 따른 추가 단계 수가 $O(\log T)$ 이내로 제한됨을 보장하기 위해.

실험 결과

연구 질문

• RQ1 i.i.d. 보상이 가정되지 않은 상황에서 무거운 마르코프 밴딧 문제에 대해 비점근적 리그레트 한계 $\tilde{O}(\sqrt{T})$ 를 달성할 수 있는가?
• RQ2 전이 행렬이나 혼합 시간과 같은 마르코프 체인 매개변수에 대한 사전 지식 없이도 이러한 한계를 달성할 수 있는가?
• RQ3 왜 색인 기반 정책은 무거운 밴딧 설정에서 반드시 열등한가? 이는 여유 마르코프나 i.i.d. 밴딧 사례와 어떻게 다를까?
• RQ4 리그레트가 마르코프 체인의 직경과 혼합 시간과 같은 구조적 성질에 어떻게 의존하는가?
• RQ5 알려지지 않은 상태 공간과 주기적인 마르코프 체인을 처리할 수 있도록 알고리즘을 확장하면서도 $\tilde{O}(\sqrt{T})$ 리그레트 한계를 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 마르코프 체인의 기약불가능성만을 가정하고도 최적 정책에 대해 $\tilde{O}(\sqrt{T})$ 리그레트 한계를 달성한다.
• 리그레트 한계는 암의 직경과 혼합 시간에 의존하지만, $T$와 암의 수로 표현할 경우 이들 요소는 최종 한계에서 제거될 수 있다.
• 하한 $\Omega(\sqrt{ST})$ 가 확립되어 $\tilde{O}(\sqrt{T})$ 의 $T$ 의존성은 더 이상 향상시킬 수 없음을 보여준다.
• 색인 기반 정책이 무거운 밴딧 문제에서 본질적으로 열등함이 입증되었으며, 이는 여유 마르코프나 i.i.d. 사례와 다름을 보여준다.
• 주기적인 마르코프 체인 상황에서도 $m$-단계 전이와 단계 기반 집계를 고려함으로써 알고리즘이 효과적으로 유지되며, 상태 수에 대한 리그레트 의존성은 약간 증가할 뿐이다.
• 알려지지 않은 상태 공간에 대해서는 모든 상태를 탐색하기 위한 추가 리그레트가 $O(\log T)$ 이내로 제한되어 전체적으로 $\tilde{O}(\sqrt{T})$ 리그레트 스케일링을 유지한다.