[논문 리뷰] A Closer Look at the Worst-case Behavior of Multi-armed Bandit Algorithms

Anand Kalvit, Assaf Zeevi|arXiv (Cornell University)|2021. 06. 03.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 6

한 줄 요약

이 논문은 다수의 손잡이 밴드잇 문제에서 최악의 조건 하에서 상위 두 손잡이 간 격차가 $1/\sqrt{n}$ 비례로 스케일링되는 작은 격차 영역에서 Upper Confidence Bound (UCB) 알고리즘의 엄밀한 분석을 제공한다. UCB의 손잡이 선택 행동이 渐近적으로 결정론적임을 규명하고, 이 과정에 대한 확산 근사(limit)를 도출하여, $\mathcal{O}(\sqrt{n\log n})$ 최소최대 손실의 새로운 증명을 제시하며, 특히 희생된 학습 현상이 나타나는 톰슨 샘플링과의 근본적인 차이를 드러낸다.

ABSTRACT

One of the key drivers of complexity in the classical (stochastic) multi-armed bandit (MAB) problem is the difference between mean rewards in the top two arms, also known as the instance gap. The celebrated Upper Confidence Bound (UCB) policy is among the simplest optimism-based MAB algorithms that naturally adapts to this gap: for a horizon of play n, it achieves optimal O(log n) regret in instances with "large" gaps, and a near-optimal O(\sqrt{n log n}) minimax regret when the gap can be arbitrarily "small." This paper provides new results on the arm-sampling behavior of UCB, leading to several important insights. Among these, it is shown that arm-sampling rates under UCB are asymptotically deterministic, regardless of the problem complexity. This discovery facilitates new sharp asymptotics and a novel alternative proof for the O(\sqrt{n log n}) minimax regret of UCB. Furthermore, the paper also provides the first complete process-level characterization of the MAB problem under UCB in the conventional diffusion scaling. Among other things, the "small" gap worst-case lens adopted in this paper also reveals profound distinctions between the behavior of UCB and Thompson Sampling, such as an "incomplete learning" phenomenon characteristic of the latter.

연구 동기 및 목표

• 최악의 조건 하에서, 상위 두 손잡이 간 격차가 $1/\sqrt{n}$ 비례로 스케일링되는 작은 격차 영역에서 UCB의 손잡이 선택 행동을 이해하는 것.
• 이 영역에서 UCB 알고리즘에 대한 프로세스 수준의 확산 근사(approximation)를 수립하는 것.
• UCB에 대한 $\mathcal{O}(\sqrt{n\log n})$ 최소최대 손실 경계의 새로운, 대체적 증명을 제공하는 것.
• 특히 최악의 조건 하에서의 학습 완전성과 샘플링 역학적 특성 측면에서 UCB와 톰슨 샘플링을 대조하는 것.

제안 방법

• 작은 격차 스케일링 하에서 손잡이 선택 수의 경험적 프로세스가 브라운 운동으로 약한 수렴하는 것을 보여주기 위해 도네스커의 불변성 원리를 사용한다.
• 신뢰구간 프로세스와 경험적 샘플링 비율 프로세스의 조합을 분석하기 위해 무작위 시간 변화 기법을 도입한다.
• 연속성 사상 정리를 적용하여 손실 프로세스가 확산 근사로 약한 수렴하는 것을 도출한다.
• 시간을 $n$으로 정규화하고 누적 수익 프로세스를 $\sqrt{n}$으로 스케일링하는 확산 스케일링을 활용하여 渐近적 행동을 포착한다.
• 최근의 샘플링 비율을 분석하여, 각 손잡이의 수렴 확률이 $\mathfrak{e}/2$로 거의 확실히 수렴함을 보여주며, 여기서 $\mathfrak{e}$는 두 손잡이에서 소비된 총 시간을 나타내는 랜덤 변수이다.
• UCB의 손잡이 선택 속도가 문제의 복잡성과 무관하게 渐近적으로 결정론적임을 이용하여 정밀한 渐近적 행동을 유도한다.

실험 결과

연구 질문

• RQ1 최악의 조건 하에서 작은 격차 영역에서 UCB의 손잡이 선택 행동은 어떻게 渐近적으로 행동하는가?
• RQ2 기본 스케일링 하에서 UCB 프로세스에 대한 확산 근사를 유도할 수 있으며, 이는 손실 역학에 대해 무엇을 드러내는가?
• RQ3 UCB 하에서 최소최대 영역에서 누적 손실의 정확한 渐近적 분포는 무엇인가?
• RQ4 최악의 조건 하에서 작은 격차 설정에서 UCB의 학습 행동은 톰슨 샘플링과 어떻게 다를까?
• RQ5 UCB에 대한 $\mathcal{O}(\sqrt{n\log n})$ 최소최대 손실 경계는 프로세스 수준의 극한 정리로 재구성할 수 있는가?

주요 결과

• 두 손잡이 경우에서 UCB의 손잡이 선택 속도는 渐近적으로 결정론적이며, 각 손잡이에 대해 거의 확실히 $\mathfrak{e}/2$로 수렴한다.
• 신뢰구간과 샘플링 비율의 조합 프로세스는 브라운 운동과 渐近적 샘플링 비율을 포함하는 극한으로 약한 수렴한다.
• 누적 손실 프로세스는 $\sqrt{n}$으로 스케일링되었을 때, $\frac{\Delta_0 t}{2} + \sqrt{\frac{\sigma_1^2 + \sigma_2^2}{2}} \tilde{B}(t)$ 로 주어지는 확산 프로세스로 약한 수렴한다. 여기서 $\tilde{B}(t)$ 는 표준 브라운 운동이다.
• 이 확산 근사는 UCB에 대한 $\mathcal{O}(\sqrt{n\log n})$ 최소최대 손실 경계의 새로운 대체적 증명을 제공한다.
• 톰슨 샘플링은 작은 격차 영역에서 UCB와 달리 불완전한 학습 현상을 보이며, 이는 최종적으로 최적의 손잡이를 완전히 학습하지 못함을 의미한다.
• 최악의 최소최대 손실은 $\Delta \asymp 1/\sqrt{n}$ 의 격차 스케일링에 의해 특징지어지며, 이는 손잡이를 구분하는 통계적 난이도가 최고조에 이르는 순간이다.