[논문 리뷰] On Index Policies for Restless Bandit Problems

Sudipto Guha, Kamesh Munagala외 1명|arXiv (Cornell University)|2007. 11. 27.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 9

한 줄 요약

이 논문은 피드백 MAB 문제에 대해 2+ϵ-근사 근사 정책을 도출하는 이중성 기반 알고리즘 기법을 제안한다. 이는 암 상태가 플레이 시에만 관측되는 경우에 해당하는 불안정 밴딧의 특수한 경우이다. 이 방법은 비트리비얼한 불안정 밴딧 및 POMDP 인스턴스에 대해 처음으로 효율적인 O(1)-근사값을 제공하며, 차단 및 스위칭 비용과 같은 제약 조건이 있는 변형으로도 확장 가능하다.

ABSTRACT

The restless bandit problem is one of the most well-studied generalizations of the celebrated stochastic multi-armed bandit problem in decision theory. In its ultimate generality, the restless bandit problem is known to be PSPACE-Hard to approximate to any non-trivial factor, and little progress has been made despite its importance in modeling activity allocation under uncertainty. We consider a special case that we call Feedback MAB, where the reward obtained by playing each of n independent arms varies according to an underlying on/off Markov process whose exact state is only revealed when the arm is played. The goal is to design a policy for playing the arms in order to maximize the infinite horizon time average expected reward. This problem is also an instance of a Partially Observable Markov Decision Process (POMDP), and is widely studied in wireless scheduling and unmanned aerial vehicle (UAV) routing. Unlike the stochastic MAB problem, the Feedback MAB problem does not admit to greedy index-based optimal policies. We develop a novel and general duality-based algorithmic technique that yields a surprisingly simple and intuitive 2+epsilon-approximate greedy policy to this problem. We then define a general sub-class of restless bandit problems that we term Monotone bandits, for which our policy is a 2-approximation. Our technique is robust enough to handle generalizations of these problems to incorporate various side-constraints such as blocking plays and switching costs. This technique is also of independent interest for other restless bandit problems. By presenting the first (and efficient) O(1) approximations for non-trivial instances of restless bandits as well as of POMDPs, our work initiates the study of approximation algorithms in both these contexts.

연구 동기 및 목표

• 불안정 밴딧 문제의 계산적 비가역성, 즉 근사화하기 위해 PSPACE-하드라는 문제를 다루기 위해.
• 암 상태가 플레이될 때만 드러나는 피드백 MAB 문제에 대해 처리 가능하고 근사 기반의 정책을 개발하기 위해.
• 모노톤 밴딧으로의 접근을 확장하고, 차단 및 스위칭 비용과 같은 부가 제약 조건을 통합하기 위해.
• 불안정 밴딧 및 POMDP에 대한 근사 알고리즘 연구를 시작하기 위해, 이전에 효율적인 솔루션이 없었던 분야에 초점을 맞추기 위해.

제안 방법

• 불안정 밴딧 문제에 대한 근사 정책을 도출하기 위해 새로운 이중성 기반 알고리즘 프레임워크를 개발한다.
• 이중성을 적용하여 피드백 MAB 문제에 대해 2+ϵ-근사 근사 정책을 구성한다. 이는 부분 관측 가능한 마르코프 결정 과정이다.
• 정책이 2-근사값을 달성할 수 있는 불안정 밴딧의 하위 클래스인 모노톤 밴딧을 식별한다.
• 부가 제약 조건, 특히 차단 플레이 및 스위칭 비용을 처리할 수 있도록 프레임워크를 일반화하며, 근사 보장을 유지한다.
• 이중성을 사용하여 성능의 경계를 유도하고, 근사 최적 정책의 효율적 계산을 가능하게 한다.
• 이 기법이 피드백 MAB를 초월하여 비트리비얼한 불안정 밴딧 및 POMDP 인스턴스에 대해 일반적이고 강건하게 적용 가능하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 피드백 MAB 문제에 대해 처리 가능하고 효율적인 근사 알고리즘을 설계할 수 있는가? 이는 불안정 밴딧 문제의 비트리비얼한 인스턴스이다.
• RQ2 불안정 밴딧 문제의 PSPACE-하드 성격에도 불구하고, 이중성 기반 접근이 상수 요인 근사값을 도출할 수 있는가?
• RQ3 이 프레임워크는 암 선택 시 실질적인 제약 조건인 차단 및 스위칭 비용을 처리할 수 있는가?
• RQ4 불안정 밴딧의 자연스러운 하위 클래스인 모노톤 밴딧에 대해 2-근사값을 달성할 수 있는가?
• RQ5 이 접근 방식은 POMDP 및 불안정 밴딧 문제에 대한 근사 알고리즘 연구를 광범위하게 이끌 수 있는가?

주요 결과

• 제안된 이중성 기반 방법은 피드백 MAB 문제에 대해 2+ϵ-근사 근사 정책을 도출하며, 비트리비얼한 불안정 밴딧 인스턴스에 대해 처음으로 효율적인 O(1)-근사값을 제공한다.
• 모노톤 밴딧 하위 클래스에 대해 정책은 2-근사값을 달성하며, 강력한 성능 보장을 보여준다.
• 프레임워크는 차단 플레이 및 스위칭 비용과 같은 부가 제약 조건을 성공적으로 통합하면서도 근사 경계를 유지한다.
• 이 기법은 일반적이고 강건하여 피드백 MAB를 초월한 광범위한 불안정 밴딧 문제에 적용 가능하다.
• 이 연구는 비트리비얼한 POMDP에 대해 처음으로 효율적인 O(1)-근사값을 확립하며, 부분 관측 가능한 결정 문제에 대한 근사 알고리즘 연구의 새로운 길을 열어준다.
• 이중성 기반 접근은 복잡한 불확실성 하에서 순차적 결정 문제에 대해 근사 최적 정책을 설계하는 데 있어 새로운, 직관적이며 계산적으로 실현 가능한 방법을 제공한다.