[논문 리뷰] The Non-Bayesian Restless Multi-Armed Bandit: a Case of Near-Logarithmic Regret

Wenhan Dai, Yi Gai외 2명|arXiv (Cornell University)|2010. 11. 22.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 4

한 줄 요약

이 논문은 전이 파라미터가 사전에 알려지지 않은 비베이지안 불안정 다수의 손실이 있는 밴딧(RMAB) 문제를 위한 새로운 메타정책 접근법을 제안한다. 알려진 최적 정책들로 구성된 유한한 집합을 메타밴딧 문제의 '손'으로 간주함으로써, $N=2,3$의 i.i.d. 채널에서 $O(G(n)\log n)$로 경계가 설정된 거의 로그 수준의 손실을 달성하며, 모델을 인지하는 지네 정책과 동일한 성능을 보인다.

ABSTRACT

In the classic Bayesian restless multi-armed bandit (RMAB) problem, there are $N$ arms, with rewards on all arms evolving at each time as Markov chains with known parameters. A player seeks to activate $K \geq 1$ arms at each time in order to maximize the expected total reward obtained over multiple plays. RMAB is a challenging problem that is known to be PSPACE-hard in general. We consider in this work the even harder non-Bayesian RMAB, in which the parameters of the Markov chain are assumed to be unknown \emph{a priori}. We develop an original approach to this problem that is applicable when the corresponding Bayesian problem has the structure that, depending on the known parameter values, the optimal solution is one of a prescribed finite set of policies. In such settings, we propose to learn the optimal policy for the non-Bayesian RMAB by employing a suitable meta-policy which treats each policy from this finite set as an arm in a different non-Bayesian multi-armed bandit problem for which a single-arm selection policy is optimal. We demonstrate this approach by developing a novel sensing policy for opportunistic spectrum access over unknown dynamic channels. We prove that our policy achieves near-logarithmic regret (the difference in expected reward compared to a model-aware genie), which leads to the same average reward that can be achieved by the optimal policy under a known model. This is the first such result in the literature for a non-Bayesian RMAB.

연구 동기 및 목표

• 전이 확률이 사전에 알려지지 않은 비베이지안 불안정 MAB 문제를 다루기 위해.
• 모델이 알려진 경우의 최적 정책과 비교해도 선형 이하의 손실을 달성하는 학습 프레임워크를 개발하기 위해.
• 모델이 알려지지 않은 동적 채널에서의 기회 기반 스펙트럼 접근에 이 방법을 적용하기 위해.
• 손실이 시간에 따라 거의 로그 수준으로 증가함을 증명하여, 평균 수익에서 渐近 최적성(점점 최적에 수렴함)을 확보하기 위해.

제안 방법

• 알려진 파rameter 영역에서 최적인 후보 정책들의 유한한 집합을 메타밴딧 문제의 '손'으로 간주한다.
• 메타문제에 비베이지안 다수의 손이 있는 밴딧 알고리즘을 적용하여 어떤 정책이 가장 높은 보상을 제공하는지 학습한다.
• 각 정책이 단계 $n$에서 $K_n$ 시간 단위 동안 실행되는 점진적으로 증가하는 탐색 스케줄 $K_n$을 사용한다.
• 메타밴딧에서 탐색과 이용의 균형을 이루기 위해 상위 신뢰도 기반(UCB) 선택 규칙을 적용한다.
• 각 정책의 표본 평균 수익을 반복적으로 추적하고 업데이트하여 향후 선택을 안내한다.
• 메타정책 프레임워크를 가능하게 하는 구조적 가정에 기반한다. 즉, 베이지안 RMAB가 유한한 수의 최적 정책 영역을 가진다.

실험 결과

연구 질문

• RQ1 비베이지안 RMAB 정책이 시간에 따라 거의 로그 수준으로 손실이 증가하며, 모델을 인지하는 지네 정책의 성능을 따라할 수 있는가?
• RQ2 후보 정책들을 메타손으로 간주함으로써, 알려지지 않은 마코프 전이 파라미터를 가진 불안정 밴딧 환경에서 최적 정책을 학습할 수 있는가?
• RQ3 어떤 조건에서 기저의 RMAB 구조가 이러한 메타정책 접근법이 부분 최적 손실을 도출할 수 있도록 하는가?
• RQ4 탐색 지속 시간 $K_n$이 매우 느리게 증가할 경우, 손실은 시간에 따라 어떻게 스케일링되는가?

주요 결과

• $N=2,3$의 i.i.d. 채널에서 전이 행렬이 알려지지 않은 경우, 제안된 알고리즘은 기대 손실이 $O(G(n)\log n)$로 경계가 설정되며, 여기서 $G(n)$은 임의로 천천히 발산하는 수열이다.
• 손실 경계는 $Z_1G(n)\ln n + Z_2\ln n + Z_3G(n) + Z_4$이며, 상수 $Z_1, Z_2, Z_3, Z_4$는 진짜 전이 행렬 $\mathbf{P}$에만 의존한다.
• 이 방법은 알려진 모델 하에서 달성 가능한 최대 수익으로 평균 수익이 수렴함을 보장하여, 점점 지네 정책의 성능과 일치시킨다.
• 이 방법은 비베이지안 RMAB 환경에서 처음으로 거의 로그 수준의 손실을 달성하여, 불안정 환경에서의 학습에 새로운 기준을 설정한다.
• 증명은 조건부 편향 랜덤 변수에 대한 새로운 찬포르-후이프닝 부등식의 변형과 비정상적인 초기 믿음에서 발생하는 일시적 보상 손실에 대한 경계에 기반한다.
• 이 결과는 myopic 정책이 알려진 파라미터 케이스에서 최적일 경우 임의의 $N$에 대해 확장 가능하며, 이는 $N=2,3$ 및 정의적 상관 채널에서 성립한다.