[논문 리뷰] Multi-armed Bandits with Compensation

Siwei Wang, Longbo Huang|arXiv (Cornell University)|2018. 11. 05.

Advanced Bandit Algorithms Research인용 수 14

한 줄 요약

이 논문은 통제자가 단기 플레이어에게 보상 제공을 통해 열악한 팔들을 탐색하도록 유도함으로써 회귀를 최소화하는 Known-Compensation Multi-Armed Bandit (KCMAB) 문제를 제안한다. $\frac{1}{2}$-회귀 및 보상 하한을 날카롭게 설정하고, 이론적 하한과 일치하는 $O(\text{log } T)$ 회귀 및 보상 성능을 달성하는 세 가지 알고리즘을 제안한다.

ABSTRACT

We propose and study the known-compensation multi-arm bandit (KCMAB) problem, where a system controller offers a set of arms to many short-term players for $T$ steps. In each step, one short-term player arrives to the system. Upon arrival, the player aims to select an arm with the current best average reward and receives a stochastic reward associated with the arm. In order to incentivize players to explore other arms, the controller provides a proper payment compensation to players. The objective of the controller is to maximize the total reward collected by players while minimizing the compensation. We first provide a compensation lower bound $Θ(\sum_i {Δ_i\log T\over KL_i})$, where $Δ_i$ and $KL_i$ are the expected reward gap and Kullback-Leibler (KL) divergence between distributions of arm $i$ and the best arm, respectively. We then analyze three algorithms to solve the KCMAB problem, and obtain their regrets and compensations. We show that the algorithms all achieve $O(\log T)$ regret and $O(\log T)$ compensation that match the theoretical lower bound. Finally, we present experimental results to demonstrate the performance of the algorithms.

연구 동기 및 목표

• 장기 통제자가 단기 플레이어를 보상으로 통해 팔들을 탐색하도록 유도하는 시나리오를 모델링하기 위해.
• 제한된 예산 하에서 보상 비용을 낮추면서도 회귀를 최소화하기 위해.
• KCMAB 프레임워크에서 회귀 및 보상에 대한 이론적 하한을 설정하기 위해.
• 회귀와 보상 간의 최적 균형을 달성하는 알고리즘 설계 및 분석을 위해.
• 이론적 결과를 실험 결과로 검증하기 위해.

제안 방법

• 단기 플레이어에게 팔을 제공하고 탐색을 장려하기 위해 보상을 제공하는 KCMAB 모델을 제안한다.
• 보상에 대한 이론적 하한을 유도하며, 이는 보상 갭과 KL 발산에 기반하여 $\Theta\left(\sum_i \frac{\Delta_i \log T}{\text{KL}_i}\right)$ 로 표현된다.
• 경험 평균 추정치와 신뢰 구간을 사용하여 보상을 지시하는 UCB 기반, 톰슨 샘플링 기반, 하이브리드 세 가지 알고리즘을 설계한다.
• 오차 없는 팔 선택 확률을 제한하기 위해 베타-이항 기법과 체르노프-후프링 부등식을 사용한다.
• 경험 평균의 변화를 추적하고 시간 단위별로 필요한 지불액을 제한함으로써 보상 비용을 분석한다.
• 고확률 농도 부등식을 적용하여 랜덤한 역사에 기반한 회귀와 보상이 유한하게 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 보상이 제공되는 다중 팔 랜덤 밴딧 설정에서 회귀와 보상 간의 근본적 트레이드오프는 무엇인가?
• RQ2 알려진 보상 분포 하에서 통제자가 $O(\text{log } T)$ 회귀 및 보상 성능을 동시에 달성할 수 있는가?
• RQ3 KCMAB 모델에서 $O(\text{log } T)$ 회귀를 달성하기 위해 필요한 이론적 최소 보상 비용은 얼마인가?
• RQ4 다양한 탐색 전략(예: UCB, 톰슨 샘플링)은 회귀 및 보상 측면에서 어떻게 성능을 내는가?
• RQ5 보상 비용은 보상의 랜덤한 역사를 독립적으로 상한선으로 둘 수 있는가?

주요 결과

• 논문은 보상 하한을 $\Theta\left(\sum_i \frac{\Delta_i \log T}{\text{KL}_i}\right)$ 로 설정하였으며, 이는 날카롭고 보상 갭 및 KL 발산에 의존한다.
• 제안된 세 알고리즘 모두 $O(\text{log } T)$ 회귀 및 $O(\text{log } T)$ 보상 성능을 달성하여 이론적 하한과 일치한다.
• 열악한 팔이 끌어질 횟수의 기대값은 $O(\log T)$ 이하로 제한되며, 이는 로그 단위의 회귀를 보장한다.
• 보상 비용은 $\sum_i \frac{8}{\Delta_i - \varepsilon} \log T + O\left(\frac{N}{\varepsilon^4}\right) + F_2(\bm{\mu})$ 로 상한선이 설정되며, $F_2(\bm{\mu})$ 는 모델에 특화된 상수를 나타낸다.
• 분석 결과 보상은 기대 보상 갭 외에도 경험 평균의 변화와 신뢰 구간에 의존함을 보여준다.
• 실험 결과는 알고리즘이 낮은 회귀와 보상 성능을 달성함으로써 이론적 하한을 검증함을 확인한다.