[논문 리뷰] Approximation Algorithms for Correlated Knapsacks and Non-Martingale Bandits

Anupam Gupta, Ravishankar Krishnaswamy외 2명|arXiv (Cornell University)|2011. 02. 18.

Optimization and Search Problems참고 문헌 8인용 수 16

한 줄 요약

이 논문은 보상과 크기가 상관관계가 있는 스토하스틱 쓰래시백 문제와 마르팅게일 성질이 없는 예산 학습 문제에 대해 처음으로 상수 요인 근사 알고리즘을 제안한다. 새로운 시간 색인 선형 프ogramming(선형계획) 타입의 타협과 분해 기반 반올림 방법을 도입하여, 분수 해를 적응형, 랜덤화된 스케줄링 정책으로 변환하고, 증명 가능한 성능 보장을 제공한다.

ABSTRACT

In the stochastic knapsack problem, we are given a knapsack of size B, and a set of jobs whose sizes and rewards are drawn from a known probability distribution. However, we know the actual size and reward only when the job completes. How should we schedule jobs to maximize the expected total reward? We know O(1)-approximations when we assume that (i) rewards and sizes are independent random variables, and (ii) we cannot prematurely cancel jobs. What can we say when either or both of these assumptions are changed? The stochastic knapsack problem is of interest in its own right, but techniques developed for it are applicable to other stochastic packing problems. Indeed, ideas for this problem have been useful for budgeted learning problems, where one is given several arms which evolve in a specified stochastic fashion with each pull, and the goal is to pull the arms a total of B times to maximize the reward obtained. Much recent work on this problem focus on the case when the evolution of the arms follows a martingale, i.e., when the expected reward from the future is the same as the reward at the current state. What can we say when the rewards do not form a martingale? In this paper, we give constant-factor approximation algorithms for the stochastic knapsack problem with correlations and/or cancellations, and also for budgeted learning problems where the martingale condition is not satisfied. Indeed, we can show that previously proposed LP relaxations have large integrality gaps. We propose new time-indexed LP relaxations, and convert the fractional solutions into distributions over strategies, and then use the LP values and the time ordering information from these strategies to devise a randomized adaptive scheduling algorithm. We hope our LP formulation and decomposition methods may provide a new way to address other correlated bandit problems with more general contexts.

연구 동기 및 목표

• 보상과 크기가 상관관계가 있고, 작업 취소가 허용되는 경우에 스토하스틱 쓰래시백 문제를 해결하기 위해 이전의 상수 요인 근사 알고리즘이 실패하는 설정에서의 문제를 다루기.
• 기존 연구에서 일반적으로 가정하는 마르팅게일 성질이 성립하지 않는 예산 학습 문제로 근사 기법을 확장하기.
• 기존 선형계획 타협에서 상관관계 또는 비마르팅게일 동역학이 존재할 경우 큰 정수성 갭이 발생하는 문제를 해결하기 위해 새로운 시간 색인 선형계획 타협을 제안하기.
• 암시적 전략 트리 구축과 갭 필링을 통해 다항 시간 내에 랜덤화된 적응형 알고리즘을 설계하여 상수 요인 근사 성능을 달성하기.
• 특정 문제 외에도 더 넓은 범위의 상관관계가 있는 밴디트 문제 클래스에 적용 가능한 일반적 프레임워크 제공하기.

제안 방법

• 상관관계가 있는 스토하스틱 쓰래시백 문제와 예산 학습 문제에서 시간적 의존성과 상태 전이를 반영하는 새로운 시간 색인 선형계획 타협을 제안한다.
• 분수 선형계획 해를 적응형 전략에 대한 분포로 변환하기 위해 분해 및 '갭 필링' 기법을 도입하여 타당성과 성능 보장을 확보한다.
• 지수적 증가를 방지하기 위해 암시적 전략 트리 표현(DT)을 설계하여, 압축된 전략 DAG(D)에서 필요에 따라 경로를 생성함으로써 다항 시간 실행 가능하게 한다.
• 전체 트리 탐색을 모방하지만, 직접 DAG 위에서 동작하는 암시적 시뮬레이션 알고리즘(ImplicitPlay)을 설계하여 시간과 상태 정보를 동적으로 유지한다.
• 분수 해의 시간 순서와 선형계획 값에 기반해 랜덤화된 적응형 스케줄링 결정을 유도함으로써, 기대 보상이 최적값의 상수 요인 내에 있도록 보장한다.
• 암시적 알고리즘과 전체 트리 기반 시뮬레이션(ImplicitFill) 간의 동치성을 증명함으로써, 정확성과 상수 요인 근사 성능을 보장하며, 이는 정리 5.5에 의해 입증된다.

실험 결과

연구 질문

• RQ1 보상과 크기가 상관관계가 있는 스토하스틱 쓰래시백 문제에 대해 상수 요인 근사 알고리즘을 설계할 수 있는가?
• RQ2 기존 선형계획 타협은 상관관계가 있거나 취소 가능한 스토하스틱 쓰래시백 문제에서 성능이 어떻게 되며, 이를 향상시킬 수 있는가?
• RQ3 마르팅게일 성질이 성립하지 않는 예산 학습 문제로 근사 알고리즘을 확장할 수 있는가?
• RQ4 적응형 결정을 불확실성과 상관관계 하에서 모델링하기 위해 시간 색인 선형계획 타협을 어떻게 구성할 수 있는가?
• RQ5 암시적 전략 트리의 명시적 생성 없이, 지수적으로 큰 전략 트리를 효율적으로 시뮬레이션할 수 있는가?

주요 결과

• 이 논문은 보상과 크기가 상관관계가 있는 스토하스틱 쓰래시백 문제에 대해 처음으로 상수 요인 근사 알고리즘을 제시하며, 이전 방법의 한계를 극복한다.
• 보상과 크기가 상관관계가 있거나 비마르팅게일 역학이 존재할 경우, 스토하스틱 쓰래시백 및 예산 학습 문제에 대한 기존 선형계획 타협은 큰 정수성 갭을 가진다.
• 제안된 시간 색인 선형계획 타협은 적응형 결정의 시간적 및 상태 의존적 의존성을 반영함으로써 상수 요인 근사 성능을 달성한다.
• 갭 필링과 분해 기법은 분수 선형계획 해를 손실이 제한된 적응형 전략에 대한 분포로 성공적으로 변환한다.
• 암시적 전략 트리 구축은 명시적 열거 없이도 다항 시간 내에 적응형 정책을 시뮬레이션할 수 있게 하며, 정확성과 성능 보장을 유지한다.
• 최종 알고리즘인 ImplicitPlay는 압축된 DAG 표현을 사용하여 필요에 따라 전체 전략 트리를 온디맨드로 시뮬레이션함으로써 다항 시간 내에 실행되며, 상수 요인 근사 성능을 달성한다.