[논문 리뷰] Pure Exploration for Multi-Armed Bandit Problems

Sébastien Bubeck, Rémi Munos외 1명|arXiv (Cornell University)|2008. 02. 19.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 7

한 줄 요약

이 논문은 다수의 손잡이를 가진 밴딧 문제에서 순수 탐색을 다루며, 고정된 횟수의 손잡이 당김 이후 최고의 손잡이의 평균 보상과 추천된 손잡이의 추정 보상 간의 차이인 단순 회귀를 최소화하는 것을 목표로 한다. 이는 누적 회귀와 단순 회귀 사이의 기본적인 상충 관계를 규명하고, UCB 기반 전략이 로그 회귀 한계를 달성함을 증명하며, 연속된 손잡이를 가진 밴딧 문제에서 단순 회귀를 최소화하는 것이 모든 연속된 평균 보상 분포에 대해 누적 회귀를 최소화하는 것과 동치임을 보여준다.

ABSTRACT

We consider the framework of stochastic multi-armed bandit problems and study the possibilities and limitations of forecasters that perform an on-line exploration of the arms. These forecasters are assessed in terms of their simple regret, a regret notion that captures the fact that exploration is only constrained by the number of available rounds (not necessarily known in advance), in contrast to the case when the cumulative regret is considered and when exploitation needs to be performed at the same time. We believe that this performance criterion is suited to situations when the cost of pulling an arm is expressed in terms of resources rather than rewards. We discuss the links between the simple and the cumulative regret. One of the main results in the case of a finite number of arms is a general lower bound on the simple regret of a forecaster in terms of its cumulative regret: the smaller the latter, the larger the former. Keeping this result in mind, we then exhibit upper bounds on the simple regret of some forecasters. The paper ends with a study devoted to continuous-armed bandit problems; we show that the simple regret can be minimized with respect to a family of probability distributions if and only if the cumulative regret can be minimized for it. Based on this equivalence, we are able to prove that the separable metric spaces are exactly the metric spaces on which these regrets can be minimized with respect to the family of all probability distributions with continuous mean-payoff functions.

연구 동기 및 목표

• 최종 추천 결과만 중요한 단순 회귀 기준 하에서 온라인 탐색 전략의 성능을 분석하는 것.
• 단순 회귀와 누적 회귀 사이의 이론적 연결 고리를 확립하여, 낮은 누적 회귀는 높은 단순 회귀를 암시함을 보여주는 것.
• 유한 손잡이 및 연속 손잡이 밴딧 설정 모두에서 단순 회귀를 최소화하는 알고리즘을 설계하고 분석하는 것.
• 연속된 손잡이 밴딧 문제에서 단일 확률 분포 가족에 대해 단순 회귀를 최소화할 수 있는 조건을 규명하는 것.
• 모든 연속된 평균 보상 함수에 대해 단순 회귀 최소화가 가능한 메트릭 공간의 클래스(특히 분리 가능한 메트릭 공간)를 특정하는 것.

제안 방법

• 예측자가 n라운드 동안 손잡이를 샘플링하고(모르는 채로), 관측된 보상에 기반해 하나의 손잡이를 추천하는 공식적 프레임워크를 사용한다.
• 단순 회귀를 최적의 손잡이 평균과 추천된 손잡이의 경험적 평균 간의 기대값 차이로 분석한다.
• Hoeffding의 보조정리와 서브가우시안 尾 확률 바ounds를 적용하여 경험적 평균이 진짜 평균에서 벗어나는 기대 최대 이격도의 상한을 유도한다.
• α > 1인 UCB(α)를 핵심 전략으로 사용하여, 이 할당 규칙이 유망한 손잡이에 집중적으로 탐색을 유도함으로써 단순 회귀를 감소시킴을 보여준다.
• 단순 회귀에 대한 일반적인 하한을 누적 회귀의 관점에서 유도하여 기본적인 상충 관계를 확립한다.
• UCB(α) 전략에서 탐색을 균형 있게 조절하기 위해 정규화 상수 β를 사용하며, 이는 비최적성 갭 Δi에 따라 조정된다.

실험 결과

연구 질문

• RQ1 다수의 손잡이 밴딧 문제에서 단순 회귀와 누적 회귀 사이의 기본적인 관계는 무엇인가?
• RQ2 연속된 손잡이 밴딧 문제에서 단순 회귀를 최소화할 수 있으며, 그 조건은 무엇인가?
• RQ3 UCB(α)의 성능은 단순 회귀 측면에서 균일 할당 전략보다 어떻게 다른가?
• RQ4 알려진 비최적성 갭이 있는 유한 손잡이 밴딧 문제에서 단순 회귀를 최소화하는 최적의 할당 전략은 무엇인가?
• RQ5 어떤 메트릭 공간이 모든 연속된 평균 보상 함수에 대해 단순 회귀 최소화를 가능하게 하는가?

주요 결과

• 일반적인 하한을 통해 누적 회귀가 작을수록 단순 회귀가 커지는 기본적인 상충 관계가 입증된다.
• α > 1인 UCB(α)의 경우 기대 단순 회귀는 O((n/Δ²)^{-(α-1)})로 유계이며, n에 대해 다항식적으로 감소한다.
• UCB(α)의 단순 회귀 상한은 O((n/Δ²)^{-(α-1)})로, 큰 K에 대해 균일 할당의 O(Δ exp(−Δ²n/K))보다 훨씬 우수하다.
• 연속된 손잡이 밴딧 문제에서, 모든 연속된 평균 보상 분포에 대해 단순 회귀를 최소화하는 것은 누적 회귀를 최소화하는 것과 동치이다.
• 기저 메트릭 공간이 분리 가능할 때에만 모든 연속된 평균 보상 함수에 대해 단순 회귀를 최소화할 수 있다.
• 유한한 수의 손잡이가 있는 경우, 균일 할당의 단순 회귀는 Δ exp(−Δ²⌊n/K⌋) 이하로 유계이며, 이는 지수적으로 감소하지만 큰 K에 대해 UCB(α)보다 느리게 감소한다.