[논문 리뷰] Budget-Constrained Multi-Armed Bandits with Multiple Plays

Datong P. Zhou, Claire J. Tomlin|arXiv (Cornell University)|2017. 11. 16.

Advanced Bandit Algorithms Research인용 수 18

한 줄 요약

이 논문은 총 예산 B 하에서 매 라운드에 K개의 암을 선택하는 예산 제약이 있는 다익스트리 밴딧 문제를 위한 UCB-MB 및 Exp3.M.B 알고리즘을 제안한다. 스위치 설정에서는 O(NK⁴ log B)의 리그레트를, 악성 설정에서는 O(√(NB log(N/K)))의 리그레트를 확률적으로 유한하게 확보하며, 이에 대응하는 Ω((1−K/N)²√(NB/K))의 하한값을 제시하여 이전 연구를 예산 제약과 다중 플레이 요소를 모두 포함하여 확장한다.

ABSTRACT

We study the multi-armed bandit problem with multiple plays and a budget constraint for both the stochastic and the adversarial setting. At each round, exactly $K$ out of $N$ possible arms have to be played (with $1\leq K \leq N$). In addition to observing the individual rewards for each arm played, the player also learns a vector of costs which has to be covered with an a-priori defined budget $B$. The game ends when the sum of current costs associated with the played arms exceeds the remaining budget. Firstly, we analyze this setting for the stochastic case, for which we assume each arm to have an underlying cost and reward distribution with support $[c_{\min}, 1]$ and $[0, 1]$, respectively. We derive an Upper Confidence Bound (UCB) algorithm which achieves $O(NK^4 \log B)$ regret. Secondly, for the adversarial case in which the entire sequence of rewards and costs is fixed in advance, we derive an upper bound on the regret of order $O(\sqrt{NB\log(N/K)})$ utilizing an extension of the well-known $ exttt{Exp3}$ algorithm. We also provide upper bounds that hold with high probability and a lower bound of order $Ω((1 - K/N)^2 \sqrt{NB/K})$.

연구 동기 및 목표

• 다익스트리 밴딧 문헌에서 예산 제약과 매 라운드 다중 플레이 요소를 동시에 통합한 빈도를 메우기 위해.
• 행동에 비용이 발생하고 동시에 다수의 결정을 내려야 하는 실제 시나리오(예: 온라인 광고 또는 네트워크 채널 선택)를 모델링하기 위해.
• 이러한 제약 조건 하에서 스위치 및 악성 설정 모두에 대해 리그레트 경계를 유도하기 위해.
• 악성 예산 제약 다중 플레이 밴딧 문제에 대해 최초로 고확률 리그레트 상한값과 대응하는 하한값을 제공하기 위해.

제안 방법

• 스위치 설정을 위한 상한 신뢰도 기반 알고리즘인 UCB-MB를 제안하며, 예산 제약 하에서 탐색과 이용을 균형 잡기 위해 신뢰구간을 사용한다.
• Exp3 알고리즘을 다중 플레이 및 예산 제약 설정에 적응시키기 위해 Exp3.P.M.B를 도입하며, 악성 보상과 비용을 처리하기 위해 가중치 갱신 및 탐색 파라미터를 통합한다.
• 시간에 따라 변하는 악성 시퀀스 하에서도 리그레트 경계를 유지하기 위해 추정된 보상과 비용을 사용하는 수정된 손실 추정 방식을 도입한다.
• 누적 리그레트에 대한 농도 경계를 유도하기 위해 고확률 분석 프레임워크를 활용하여 악성 시퀀스에 대한 강건성을 확보한다.
• 탐색을 제어하는 파라미터 γ와 신뢰도 스케일링을 위한 파라미터 α를 고려한 가중치 갱신 규칙을 사용한다.
• 로그형 가중치 비율을 체계적으로 정리하고 농도 부등식을 적용하여 스위치 및 악성 환경 모두에서 날카로운 경계를 도출한다.

실험 결과

연구 질문

• RQ1 고정된 예산 제약 하에서 다중 플레이가 있는 스위치 다익스트리 밴딧 설정에서 달성 가능한 최적의 리그레트는 무엇인가?
• RQ2 총 예산이 라운드 수를 제한하는 조건에서 매 라운드에 다수의 암을 선택할 경우, 악성 설정에서 리그레트는 어떻게 스케일링되는가?
• RQ3 예산 제약이 있는 다익스트리 밴딧 문제에 대해 고확률 리그레트 경계를 설정할 수 있는가?
• RQ4 이 문제의 기본 하한 리그레트는 무엇이며, N, K, B에 따라 어떻게 스케일링되는가?
• RQ5 제안된 알고리즘인 UCB-MB 및 Exp3.M.B는 이전 연구 대비 리그레트 스케일링과 비용이 있는 순차적 의사결정 문제 적용 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 UCB-MB 알고리즘은 다중 플레이 및 예산 제약 조건 하에서 스위치 설정에서 O(NK⁴ log B)의 기대 리그레트를 달성한다.
• 악성 설정에서는 Exp3.M.B 알고리즘이 고확률로 O(√(NB log(N/K)))의 리그레트 상한값을 달성한다.
• 대응하는 하한값 Ω((1−K/N)²√(NB/K))이 확립되어 악성 경우에서 상한값의 날카로움을 입증한다.
• Exp3.M.B의 고확률 리그레트 상한값은 가중치 갱신 과정과 추정된 누적 수익에 대한 새로운 농도 분석을 통해 도출된다.
• 분석 결과 리그레트가 B와 N에 대해 비선형적으로 스케일링되며, K에 대한 의존성은 다항식임을 확인하여 더 큰 액션 세트에 대한 확장 가능성을 시사한다.
• 이전 연구를 예산 제약과 다중 플레이 요소를 동시에 통합함으로써 확장하였다.