[논문 리뷰] Bounded regret in stochastic multi-armed bandits

Sébastien Bubeck, Vianney Perchet외 1명|arXiv (Cornell University)|2013. 02. 06.

Advanced Bandit Algorithms ResearchDecision Sciences참고 문헌 11인용 수 21

한 줄 요약

이 논문은 최적 평균 보상 $\mu^{(\star)}$와 가장 작은 양의 갭에 대한 하한 $\Delta$ 가 모두 알려진 경우, 확률적 다익음 밴드잇 문제에서 일관된 유한한 리그레트를 달성하는 랜덤화 정책을 제안한다. 이 정책은 순차적 우도 비율 검정을 기반으로 하며, 두 개의 암에 대해 리그레트가 $\Delta + 16/\Delta$ 이하로 제한된다. $K$ 암으로의 일반화에서는 $\varepsilon$ 가 $\Delta$ 에 대한 하한일 때 리그레트가 $\sum_{i:\Delta_i>0} \left\{ \Delta_i + \frac{32}{\Delta_i} \log\left(\frac{5}{\varepsilon}\right) \right\}$ 로 스케일링됨을 보여주며, 주요 기여는 오직 $\Delta$ 또는 오직 $\mu^{(\star)}$ 만 안다면 유한한 리그레트가 불가능하다는 것을 증명하고, 제안된 접근의 최소최대 최적성( minimax optimality )을 확립하는 데 있다.

ABSTRACT

We study the stochastic multi-armed bandit problem when one knows the value $μ^{(\star)}$ of an optimal arm, as a well as a positive lower bound on the smallest positive gap $Δ$. We propose a new randomized policy that attains a regret {\em uniformly bounded over time} in this setting. We also prove several lower bounds, which show in particular that bounded regret is not possible if one only knows $Δ$, and bounded regret of order $1/Δ$ is not possible if one only knows $μ^{(\star)}$

연구 동기 및 목표

• 부분적인 사전 지식, 특히 $\mu^{(\star)}$ 와 $\Delta$ 에 대한 하한이 있을 때, 확률적 다익음 밴드잇 문제에서 유한한 리그레트가 달성 가능한지 조사하기 위해.
• 특히 두 개의 암에 대해, 알려진 $\mu^{(\star)}$ 와 $\Delta$ 를 바탕으로 일관된 리그레트를 달성하는 랜덤화 정책을 설계하기 위해.
• 오직 $\Delta$ 또는 오직 $\mu^{(\star)}$ 만 안다면, 두 개의 암 설정에서 유한한 리그레트가 불가능하다는 엄밀한 하한을 증명하기 위해.
• 제안된 정책을 $K$ 암 밴드잇 문제로 일반화하고, $\varepsilon$ 가 $\Delta$ 에 대한 하한일 때 리그레트가 $\varepsilon$ 에 대해 로그 스케일링됨을 분석하기 위해.

제안 방법

• 알려진 $\mu^{(\star)}$ 와 $\Delta$ 를 바탕으로, 두 개의 암 밴드잇 문제에 대해 순차적 우도 비율 검정을 기반으로 한 랜덤화 정책을 제안하며, 리그레트가 유한함을 보장한다.
• 암 선택에 대한 신뢰도와 알려진 최적 평균 및 갭을 균형 있게 유지하는 랜덤화 탐색 전략을 사용한다.
• concentrated 불등식과 KL 발산 한계를 이용하여, 시간 영역 $n$ 에 대해 일관된 시간에 관계없이 리그레트 상한을 $\Delta + 16/\Delta$ 으로 유도한다.
• $K$ 암으로의 일반화는 동일한 원리를 적용하고 탐색 스케줄을 수정함으로써 이루어지며, $\varepsilon$ 가 $\Delta_i$ 에 대한 하한일 때 리그레트가 $\sum_{i:\Delta_i>0} \left\{ \Delta_i + \frac{32}{\Delta_i} \log\left(\frac{5}{\varepsilon}\right) \right\}$ 가 된다.
• 개선된 정책에서는 $\log(1/\varepsilon)$ 를 $\log(\Delta_i/\varepsilon)\log\log(1/\varepsilon)$ 로 대체하여, $\Delta_i$ 와 $\varepsilon$ 가 같은 주기일 때 로그-로그 스케일링을 줄인다.
• 정보 이론적 도구, 특히 칼리브-라이블러 발산과 헬링거 상관도를 사용하여 비점근적 리그레트 하한을 도출한다.

실험 결과

연구 질문

• RQ1 최적 평균 $\mu^{(\star)}$ 와 가장 작은 양의 갭 $\Delta$ 에 대한 하한이 알려진 경우, 확률적 다익음 밴드잇 문제에서 일관된 리그레트를 달성할 수 있는가?
• RQ2 두 개의 암 밴드잇 설정에서 오직 $\Delta$ 만 안다면, 또는 오직 $\mu^{(\star)}$ 만 안다면, 리그레트가 유한한가?
• RQ3 알려진 $\mu^{(\star)}$ 와 $\Delta$ 에 대한 하한 $\varepsilon$ 가 있을 때, $K$ 암 밴드잇 문제에서 리그레트가 $\varepsilon$ 에 대해 최적의 의존성은 무엇인가?
• RQ4 $\varepsilon$ 가 $\Delta_i$ 와 가까울 때, 리그레트 상한에서 $\log(1/\varepsilon)$ 의 의존성을 개선할 수 있는가?
• RQ5 오직 $\Delta$ 또는 오직 $\mu^{(\star)}$ 만 안다면, 리그레트의 최소최대 하한은 무엇이며, 제안된 정책의 상한과 비교해보면 어떻게 되는가?

주요 결과

• 제안된 정책은 $\mu^{(\star)}$ 와 $\Delta$ 가 모두 알려진 두 개의 암 밴드잇 문제에서 리그레트가 $\Delta + 16/\Delta$ 로 일관되게 유한함을 달성한다.
• 오직 $\Delta$ 만 안다면, 어떤 정책도 $\Delta R_n$ 이 최소한 로그 스케일링으로 증가하는 리그레트를 겪게 되며, 이는 오직 $\Delta$ 만 안다면 유한한 리그레트가 불가능하다는 것을 증명한다.
• 오직 $\mu^{(\star)}$ 만 안다면, 어떤 정책도 최소한 $\log n$ 의 순서로 리그레트 $\Delta R_n$ 을 겪게 되며, 이는 오직 $\mu^{(\star)}$ 만 안다면 유한한 리그레트가 불가능하다는 것을 보여준다.
• $K$ 암 밴드잇 문제에서 $\mu^{(\star)}$ 가 알려지고 $\Delta$ 에 대한 하한 $\varepsilon$ 가 있을 때, 정책은 리그레트 $\sum_{i:\Delta_i>0} \left\{ \Delta_i + \frac{32}{\Delta_i} \log\left(\frac{5}{\varepsilon}\right) \right\}$ 를 달성하며, 이는 상수 항 이외에는 엄밀하다.
• 개선된 정책은 $\log(1/\varepsilon)$ 항을 $\log(\Delta_i/\varepsilon)\log\log(1/\varepsilon)$ 로 줄여, $\Delta_i$ 와 $\varepsilon$ 가 같은 주기일 때 로그-로그 의존성을 달성한다.
• 논문은 비점근적 하한을 확립하여, 유한한 리그레트를 달성하기 위해 $\mu^{(\star)}$ 와 $\Delta$ 의 조합이 필수적임을 보이고, 제안된 상한이 최소최대 최적임을 입증한다.