[논문 리뷰] Regret Bounds for Batched Bandits

Hossein Esfandiari, Amin Karbasi외 2명|arXiv (Cornell University)|2019. 10. 11.

Advanced Bandit Algorithms Research인용 수 8

한 줄 요약

이 논문은 스위치 기반 다수의 보상과 선형 밴딧에 대해 최적의 리그레트 한계를 달성하는 효율적인 배치된 밴딧 알고리즘을 제안한다. 이 알고리즘들은 오직 상용로그 수준의 배치 수만으로도 최적의 성능을 달성한다. 또한, 배치된 적대적 밴딧에 대해 날카러진 리그레트 하한을 확립하여, 비적응형 알고리즘은 Ω(T/√B)의 리그레트를 요구하며, 적응형 알고리즘은 Ω(T/B)의 하한을 가짐을 보여주며, 스위치 기반과 적대적 설정 간의 근본적인 격차를 드러낸다.

ABSTRACT

We present simple and efficient algorithms for the batched stochastic multi-armed bandit and batched stochastic linear bandit problems. We prove bounds for their expected regrets that improve over the best-known regret bounds for any number of batches. In particular, our algorithms in both settings achieve the optimal expected regrets by using only a logarithmic number of batches. We also study the batched adversarial multi-armed bandit problem for the first time and find the optimal regret, up to logarithmic factors, of any algorithm with predetermined batch sizes.

연구 동기 및 목표

• 스위치 기반 및 선형 밴딧 설정 모두에서 리그레트를 최소화하는 효율적인 배치된 밴딧 알고리즘을 설계하는 것.
• 이전에 연구되지 않은 문제이지만, 배치된 적대적 다수 보상 밴딧에 대해 날카로운 리그레트 한계를 확립하는 것.
• 밴딧 학습에서 병렬 처리(배치 크기)와 정보 공유(배치 수) 간의 상호 작용을 특성화하는 것.
• 각 밴딧 모델에서 최소 최대 리그레트를 달성하기 위해 필요한 최적의 배치 수를 결정하는 것.
• 배치 실행 조건 하에서 스위치 기반과 적대적 밴딧 설정 간의 성능 격차를 비교하는 것.

제안 방법

• 각 배치 내에서 순차적 탐색 전략을 사용하여, 스위치 기반 다수 보상 및 선형 밴딧에 대해 단순하고 효율적인 알고리즘을 제안한다.
• 각 배치에서 신뢰 구간을 사용하여 잠재 수익이 높은 암을 선택하는 배치된 UCB 스타일의 접근 방식을 적용한다.
• 예상 리그레트 분석을 위해 허프딩 부등식과 순간 수치를 사용하며, 특히 수상 보상 합의 네 번째 순간에 중점을 둔다.
• 일반적인 보상 시퀀스에서 한 번의 무작위 교체가 배치 내에서 발생하는 최악의 경우를 통해 예상 리그레트의 하한을 유도한다.
• 예상 절대값을 배치 간 독립적인 랜덤 변수의 합에 대해 유계로 만들기 위해 코시-슈바르츠 부등식과 젠슨 유형의 부등식을 사용한다.
• 스위칭 시간 분포가 알고리즘의 행동과 독립적임을 보여줌으로써, 적응형 알고리즘으로의 하한 분석을 확장한다. 이는 Ω(T/B) 하한이 유지됨을 보여준다.

실험 결과

연구 질문

• RQ1 스위치 기반 설정에서 오직 상용로그 수준의 배치 수만으로도 배치된 밴딧 알고리즘이 최적의 리그레트를 달성할 수 있는가?
• RQ2 배치된 적대적 다수 보상 밴딧 문제에서 비적응형 알고리즘이 달성할 수 있는 최소 최대 리그레트는 무엇인가?
• RQ3 적대적 설정에서 리그레트는 배치 수 B에 따라 어떻게 변화하는가? 그리고 성능의 근본적 한계는 무엇인가?
• RQ4 배치 실행이 강제될 경우, 스위치 기반과 적대적 밴딧 간에 상당한 성능 격차가 존재하는가?
• RQ5 두 암 배치된 스위치 기반 밴딧의 리그레트 한계를 K > 2개의 암으로 확장할 수 있는가?

주요 결과

• 제안된 스위치 기반 다수 보상 및 선형 밴딧에 대한 배치된 알고리즘은 오직 O(log T)개의 배치만으로도 최적의 예상 리그레트를 달성한다.
• 배치된 적대적 밴딧의 경우, 최소 최대 리그레트는 Õ(√(T(K + T/B)))로 특성화되며, 이는 로그 인자 외에는 기존의 결과와 일치한다.
• 비적응형 알고리즘에 대해 적대적 설정에서 Ω(T/√B)의 하한이 증명되었으며, 이는 고정된 배치 수에 대해 리그레트가 이보다 크게 향상될 수 없음을 보여준다.
• 적응형 알고리즘에 대해 적대적 설정에서 Ω(T/B)의 리그레트 하한이 확립되었으며, 이는 피드백이 있더라도 성능이 배치 크기에 의해 제한됨을 시사한다.
• 스위치 기반 설정에서는 상용로그 수준의 배치로 최적의 리그레트를 달성할 수 있지만, 적대적 설정에서는 유사한 성능를 달성하기 위해 다항식 수준의 더 많은 배치가 필요하다.
• 분석 결과, 스위치 기반 밴딧은 그 구조 덕분에 배치 처리에서 큰 이점을 얻는 반면, 적대적 밴딧는 지연된 피드백으로 인해 본질적인 제약을 안고 있음을 드러낸다.