[논문 리뷰] Restless-UCB, an Efficient and Low-complexity Algorithm for Online Restless Bandits

Siwei Wang, Longbo Huang외 1명|arXiv (Cornell University)|2020. 11. 05.

Advanced Bandit Algorithms Research참고 문헌 47인용 수 11

한 줄 요약

이 논문은 생애-죽음 마르코프 체인을 가진 끈적거리는 밴디트에 대한 저복잡도 온라인 학습 알고리즘인 Restless-UCB를 제안한다. O(N) 시간 복잡도를 가진 효율적인 오프라인 인스턴스 구축 방법을 사용하며, 이는 이전 작업에서 존재하던 M과 N에 대한 지수적 요소를 제거한 Õ((N + M³)T²/³)의 리그레트 한계를 달성한다. 실제 데이터셋에서의 실험 결과, 기준보다 리그레트와 런타임 면에서 뛰어난 성능을 보였다.

ABSTRACT

We study the online restless bandit problem, where the state of each arm evolves according to a Markov chain, and the reward of pulling an arm depends on both the pulled arm and the current state of the corresponding Markov chain. In this paper, we propose Restless-UCB, a learning policy that follows the explore-then-commit framework. In Restless-UCB, we present a novel method to construct offline instances, which only requires $O(N)$ time-complexity ($N$ is the number of arms) and is exponentially better than the complexity of existing learning policy. We also prove that Restless-UCB achieves a regret upper bound of $ ilde{O}((N+M^3)T^{2\over 3})$, where $M$ is the Markov chain state space size and $T$ is the time horizon. Compared to existing algorithms, our result eliminates the exponential factor (in $M,N$) in the regret upper bound, due to a novel exploitation of the sparsity in transitions in general restless bandit problems. As a result, our analysis technique can also be adopted to tighten the regret bounds of existing algorithms. Finally, we conduct experiments based on real-world dataset, to compare the Restless-UCB policy with state-of-the-art benchmarks. Our results show that Restless-UCB outperforms existing algorithms in regret, and significantly reduces the running time.

연구 동기 및 목표

• 기존 온라인 끈적거리는 밴디트 알고리즘의 높은 계산 복잡도와 지수적 리그레트 요소를 해결한다.
• 대규모 문제에 대해 확장 가능한 이론적 보장을 유지하면서 실용적인 학습 정책을 개발한다.
• 리그레트 한계에서 암시적인 N과 상태공간 크기 M에 대한 지수적 의존성을 제거한다.
• 계산적으로 효율적이며 탐색-이용 균형을 효과적으로 가능하게 하는 새로운 오프라인 인스턴스 구축 방법을 설계한다.
• 실제 무선 및 작업 할당 데이터셋에서 최첨단 알고리즘인 토머슨 샘플링과 컬러드-UCRL2보다 경험적으로 뛰어난 성능을 입증한다.

제안 방법

• 온라인 끈적거리는 밴디트에 적합한 탐색-그러나-결정 프레임워크 기반의 정책인 Restless-UCB를 제안한다.
• 기존 방법들인 컬러드-UCRL2와 비교해 지수적 복잡도를 뛰어넘는 O(N) 시간 복잡도를 가진 새로운 오프라인 인스턴스 구축 방법을 도입한다.
• 생애-죽음 마르코프 체인의 전이 행렬의 희소성 특성을 활용해 리그레트 복잡도를 감소시키고 지수적 요소를 피한다.
• 편향 벡터 분석과 직경 기반의 경계를 활용해 엄밀한 리그레트 상한을 유도하며, 기존 이론적 보장을 향상시킨다.
• 무선 채널 선택 및 작업 할당을 포함한 실제 데이터셋에 적용하여 성능를 검증한다.
• 레마 16와 같은 이론적 도구를 활용해 가치 함수의 차이를 경계하고 리그레트 상수를 다항식 순서로 감소시킨다.

실험 결과

연구 질문

• RQ1 N과 M에 대한 지수적 의존성을 피하면서 다항식 리그레트를 가지는 온라인 끈적거리는 밴디트 알고리즘을 설계할 수 있는가?
• RQ2 지수적 시간 대신 O(N) 복잡도로 정책 지침을 위한 오프라인 인스턴스를 구축할 수 있는가?
• RQ3 전이 행렬의 구조적 희소성 특성을 활용해 리그레트 한계에서 지수적 요소를 제거할 수 있는가?
• RQ4 실제 환경에서 제안된 알고리즘이 토머슨 샘플링과 컬러드-UCRL2보다 경험적으로 어떻게 비교되는가?
• RQ5 제안된 이론적 분석 기법은 기존 알고리즘의 리그레트 한계를 더욱 강화하는 데 일반화 가능한가?

주요 결과

• Restless-UCB는 Õ((N + M³)T²/³)의 리그레트 상한을 달성하며, 이는 이전 알고리즘에서 존재하던 M과 N에 대한 지수적 요소를 제거한다.
• 오프라인 인스턴스 구축 방법은 O(N) 시간에 실행되며, 컬러드-UCRL2의 지수적 복잡도에 비해 지수적 향상이 이루어진다.
• 실행 시간을 크게 감소시키면서도 실제 무선 및 작업 할당 데이터셋에서 토머슨 샘플링과 컬러드-UCRL2보다 누적 리그레트 면에서 뛰어난 성능을 보였다.
• 이론적 분석을 통해 토머슨 샘플링과 컬러드-UCRL2의 기존 리그레트 한계를 O(M/(1−λ_max)√T)로 강화할 수 있으며, 이는 다항식 요소이다.
• 레마 16에 기반한 이 방법의 核심 분석 기법은 일반화 가능하며, Restless-UCB를 초월한 다른 학습 정책의 리그레트 한계 향상에 활용될 수 있다.
• 2개 및 3개 주파수 대역을 가진 실제 데이터셋에서의 실험 결과, Restless-UCB는 최첨단 벤치마크보다 일관되게 낮은 리그레트를 달성했다.