[논문 리뷰] lil' UCB : An Optimal Exploration Algorithm for Multi-Armed Bandits

Kevin Jamieson, Matthew Malloy외 2명|arXiv (Cornell University)|2013. 12. 27.

Advanced Bandit Algorithms Research참고 문헌 4인용 수 59

한 줄 요약

이 논문은 고정 신뢰도 설정에서 스 tochastic 다중 손잡이 밴딧 최적 암 식별 문제를 위한 새로운 Upper Confidence Bound(UCB) 알고리즘인 lil'UCB를 소개한다. 유한 샘플 버전의 반복 로그 법칙(LIL)을 활용하여 신뢰 구간을 구성하고, 손잡이 간의 유니온 바운드를 피하는 새로운 정지 시간을 사용함으로써, lil'UCB는 상수 요인을 제외한 최적의 샘플 복잡도를 달성한다. 이는 LIL에서 유도된 이론적 하한과 일치한다.

ABSTRACT

The paper proposes a novel upper confidence bound (UCB) procedure for identifying the arm with the largest mean in a multi-armed bandit game in the fixed confidence setting using a small number of total samples. The procedure cannot be improved in the sense that the number of samples required to identify the best arm is within a constant factor of a lower bound based on the law of the iterated logarithm (LIL). Inspired by the LIL, we construct our confidence bounds to explicitly account for the infinite time horizon of the algorithm. In addition, by using a novel stopping time for the algorithm we avoid a union bound over the arms that has been observed in other UCB-type algorithms. We prove that the algorithm is optimal up to constants and also show through simulations that it provides superior performance with respect to the state-of-the-art.

연구 동기 및 목표

• 상수 요인을 제외한 최적의 샘플 복잡도를 달성하는 고정 신뢰도 설정에서의 최적 암 식별 알고리즘을 개발한다.
• 기존의 UCB 유형 알고리즘이 신뢰 구간에서 불필요한 로그 또는 유니온 바운드 페널티를 초래하는 한계를 해결한다.
• 손잡이 간의 유니온 바운드를 피하고 더 날카운 신뢰 구간을 가능하게 하는 정지 기준을 설계한다.
• 알고리즘이 최신 기술 수준의 방법보다 정지 시간과 anytime 성능 측면에서 뛰어나다는 것을 실증적으로 검증한다.
• LIL이 예측한 샘플 복잡도의 이重적 로그 인자(이중 로그 인자)가 필수적이며 실제로도 달성 가능하다는 것을 보여준다.

제안 방법

• 알고리즘은 반복 로그 법칙(LIL)의 유한 샘플 버전을 사용하여 √(2t log log t) 비례로 척도가 조정된 신뢰 구간을 구성하며, 무한한 시간 영역을 명시적으로 고려한다.
• 손잡이 간의 유니온 바운드를 피하는 새로운 정지 시간을 도입함으로써, 손잡이 간의 갭 크기에 따라 의존하는 더 날카운 신뢰 구간을 가능하게 한다.
• 신뢰 구간은 LIL에서 유도된 척도 매개변수를 갖는 서브-가우시안 尾 확률 바운드를 사용하여 시간에 걸쳐 높은 확률로 커버리지가 보장된다.
• 알고리즘은 LIL에서 유도된 상한 신뢰 구간에 기반해 동적으로 손잡이를 선택하며, 더 큰 갭과 더 높은 불확실성을 가진 손잡이를 우선시한다.
• 이론적 보장을 생략하지만 강력한 실증 성능을 보이는 실용적 버전인 lil'UCB Heuristic을 도입한다.
• 분석 과정에서 '드블링 트릭'과 손잡이 간의 유니온 바운드를 피함으로써, 더 나은 상수와 더 날카운 샘플 복잡도 바운드를 도출한다.

실험 결과

연구 질문

• RQ1 UCB 기반 알고리즘이 반복 로그 법칙에서 유도된 하한과 일치하는 최적의 샘플 복잡도를 달성할 수 있는가?
• RQ2 손잡이 간의 유니온 바운드를 피하면서도 높은 확률로 정확한 결과를 보장하는 정지 기준을 설계할 수 있는가?
• RQ3 LIL이 예측한 샘플 복잡도의 이중 로그 인자는 필수적이며 실제로도 달성 가능한가?
• RQ4 LIL 기반의 신뢰 구간은 기존의 표준 UCB 구간과 비교해 실증적인 정지 시간과 anytime 성능 측면에서 어떻게 다른가?
• RQ5 이론적 보장을 갖지 않는 실용적 히وري스틱 버전의 알고리즘이 이론적 보장 없이도 높은 성능을 유지할 수 있는가?

주요 결과

• lil'UCB는 반복 로그 법칙에서 유도된 하한 ∑ᵢ Δᵢ⁻² log log Δᵢ⁻² 와 일치하는 상수 요인을 제외한 최적의 샘플 복잡도를 달성한다.
• 알고리즘은 손잡이 간의 유니온 바운드를 피함으로써, 많은 UCB 유형 알고리즘에서 발생하는 log(n) 페널티를 제거한다.
• 시뮬레이션 결과, 특히 희박하고 어려운 문제 인스턴스에서, lil'UCB는 연속 제거법과 지수 갭 제거법보다 정지 시간 측면에서 뚜렷이 뛰어나다.
• lil'UCB와 UCB1+LS의 anytime 성능은 최적 암을 식별하는 데 있어 연속 제거법의 두 배 이상 빠르다.
• 이론적 보장을 갖지 않는 lil'UCB Heuristic 버전은 수만 번의 실험에서 최적 암을 식별하지 못한 적이 없으며, 정지 시간과 anytime 성능 모두 다른 모든 알고리즘을 능가한다.
• LIL 기반 정지 기준은 표준 lil'UCB의 성능에 강력한 긍정적 영향을 미치지만, 히وري스틱 버전에는 거의 영향을 주지 않아, 히وري스틱 버전이 이미 핵심 행동을 잘 포착하고 있음을 시사한다.