[논문 리뷰] Improvements and Generalizations of Stochastic Knapsack and Multi-Armed Bandit Algorithms: Full Version.

Will Ma|arXiv (Cornell University)|2013. 06. 05.

Advanced Bandit Algorithms Research인용 수 2

한 줄 요약

이 논문은 전이 시간이 단위가 아닌 마코프성 무기(Markovian arms)를 가진 다수의 무기 밴딧 문제에 대한 근사 알고리즘을 제안하며, 선점(preemption) 조건 하에서는 (1/2−ϵ)-근사, 비선점 조건 하에서는 1/12-근사 성과를 내어 기존의 확률적 숙자 문제(stochastic knapsack), 마코프성 밴딧 문제, 예산 학습(budgeted learning) 분야의 결과를 향상시킨다. 이는 다각형 분석을 통해 새로운 계산적 장벽을 극복함으로써 달성된다.

ABSTRACT

We study the multi-armed bandit problem with arms which are Markov chains with rewards. In the finite-horizon setting, the celebrated Gittins indices do not apply, and the exact solution is intractable. We provide approximation algorithms for a more general model which includes Markov decision processes and non-unit transition times. When preemption is allowed, we provide a (1/2-eps)-approximation, along with an example showing this is tight. When preemption isn't allowed, we provide a 1/12-approximation, which improves to a 4/27-approximation when transition times are unity. Our model encompasses the Markovian Bandits model of Gupta et al, the Stochastic Knapsack model of Dean, Goemans, and Vondrak, and the Budgeted Learning model of Guha and Munagala, and our algorithms improve existing results in all three areas. In our analysis, we encounter and overcome to our knowledge a novel obstacle - an algorithm that provably exists via polyhedral arguments, but cannot be found in polynomial time.

연구 동기 및 목표

• 유한 수명의 다수의 무기 밴딧 문제에 대해 마코프성 무기와 단위가 아닌 전이 시간을 고려한 효율적인 근사 알고리즘을 개발하는 것.
• 기존의 모델, 즉 확률적 숙자 문제, 마코프성 밴딧 문제, 예산 학습 모델을 통합하는 단일 프레임워크로 일반화하는 것.
• 세 영역 모두에서 기존의 근사 보장 조건을 향상시키며, 특히 선점이 허용되지 않는 설정에서의 성능 향상을 도모하는 것.
• 다각형적 논증을 통해 존재가 보장되는 최적 알고리즘이지만 다항 시간 내에 계산이 불가능한 새로운 계산적 장벽을 해결하는 것.

제안 방법

• 비단위 전이 시간을 고려한 단일 프레임워크 내에서 마코프 결정 과정, 확률적 숙자 문제, 예산 학습 문제를 통합하는 일반 모델을 제안한다.
• 새로운 이완 및 반올림 기법을 활용하여 선점 조건 하에서 (1/2−ϵ)-근사 알고리즘을 설계한다.
• 철저히 구성된 선형계획법(LP) 이완과 근사 스케줄링 기법을 사용하여 비선점 조건 하에서 1/12-근사 알고리즘을 개발한다.
• 전이 시간이 단위일 경우, 단위 시간 전이의 구조적 성질을 활용하여 근사 비율을 4/27로 향상시킨다.
• 다각형적으로 타당한 해는 존재하지만 다항 시간 내에 계산이 불가능한 새로운 계산적 장벽을 극복한다.

실험 결과

연구 질문

• RQ1 유한 수명의 다수의 무기 밴딧 문제에 대해 마코프성 무기와 단위가 아닌 전이 시간을 고려한 다항 시간 근사 알고리즘을 설계할 수 있는가?
• RQ2 선점 조건 하에서 달성 가능한 근사 보장은 무엇이며, (1/2−ϵ) 상한이 타당한가?
• RQ3 전이 시간이 단위로 제한될 경우 근사 비율은 어떻게 향상되는가?
• RQ4 제안된 프레임워크는 기존의 모델들인 확률적 숙자 문제와 예산 학습 문제를 통합하고 향상시킬 수 있는가?
• RQ5 다각형적 논증을 통해 존재가 보장되는 최적 해를 찾는 데 있어 근본적인 계산적 장벽이 존재하는가?

주요 결과

• 선점 조건 하에서 (1/2−ϵ)-근사 알고리즘이 달성되었으며, 이 상한은 일치하는 하한 예제를 통해 타당함이 입증되었다.
• 비선점 조건 하에서는 1/12-근사가 달성되었으며, 전이 시간이 단위일 경우 이는 4/27로 향상된다.
• 제안된 알고리즘은 확률적 숙자 문제, 마코프성 밴딧 문제, 예산 학습 모델 모두에서 기존 결과를 향상시킨다.
• 새로운 계산적 장벽이 규명되었으며, 다각형적 논증을 통해 존재가 보장되지만 다항 시간 내에 계산이 불가능한 해가 존재한다.
• 이 프레임워크는 순차적 결정 문제의 세 주요 모델을 성공적으로 일반화하고 통합한다.