[논문 리뷰] The Unreasonable Effectiveness of Greedy Algorithms in Multi-Armed Bandit with Many Arms

Mohsen Bayati, Nima Hamidi외 2명|arXiv (Cornell University)|2020. 02. 24.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 수많은 암을 가진 베이지안 다익음 밴딧 문제에서 $k \geq \sqrt{T}$일 때, 기대적으로 최적의 손실을 달성하는 그레디 알고리즘이 존재함을 보여준다. 이는 표준 설정에서 그레디 알고리즘이 알려진 바와 같이 비최적임에도 불구하고 성립한다. 핵심 통찰은 암 보상의 무거운 尾 꼬리 분포에서 비롯되는 새로운 형태의 '무료 탐색'이며, 이는 명시적인 탐색 없이도 빠르게 근사 최적의 암을 식별할 수 있도록 해주며, 시뮬레이션 결과에서 심지어 서브샘플드 UCB와 톰슨 샘플링보다도 뛰어난 성능을 보인다.

ABSTRACT

We investigate a Bayesian $k$-armed bandit problem in the \\emph{many-armed} regime, where $k \\geq \\sqrt{T}$ and $T$ represents the time horizon. Initially, and aligned with recent literature on many-armed bandit problems, we observe that subsampling plays a key role in designing optimal algorithms; the conventional UCB algorithm is sub-optimal, whereas a subsampled UCB (SS-UCB), which selects $\\Theta(\\sqrt{T})$ arms for execution under the UCB framework, achieves rate-optimality. However, despite SS-UCB's theoretical promise of optimal regret, it empirically underperforms compared to a greedy algorithm that consistently chooses the empirically best arm. This observation extends to contextual settings through simulations with real-world data. Our findings suggest a new form of \\emph{free exploration} beneficial to greedy algorithms in the many-armed context, fundamentally linked to a tail event concerning the prior distribution of arm rewards. This finding diverges from the notion of free exploration, which relates to covariate variation, as recently discussed in contextual bandit literature. Expanding upon these insights, we establish that the subsampled greedy approach not only achieves rate-optimality for Bernoulli bandits within the many-armed regime but also attains sublinear regret across broader distributions. Collectively, our research indicates that in the many-armed regime, practitioners might find greater value in adopting greedy algorithms.

연구 동기 및 목표

• 수많은 암을 가진 다익음 밴딧 설정에서 $k \geq \sqrt{T}$ 인 경우 그레디 알고리즘의 성능을 분석하는 것.
• 고암 설정에서 UCB와 톰슨 샘플링과 같은 표준 탐색-이득 균형 알고리즘보다 그레디 알고리즘이 왜 더 잘 작동하는지 밝혀내는 것.
• 암 보상의 사전 분포 꼬리 행동에서 비롯되는 새로운 형태의 '무료 탐색' 메커니즘을 체계화하는 것.
• 베르누이 및 일반 보상 분포에 대해 다익음 설정에서 서브샘플드 그레디 알고리즘이 손실 비율 최적성을 달성함을 증명하는 것.

제안 방법

• 서브샘플드 그레디 알고리즘(SS-Greedy)을 제안하여 $\Theta(\sqrt{T})$개의 암을 무작위로 선택하고, 그 부분집합에서 그레디 선택을 적용하는 방식이다.
• 암 평균의 i.i.d. 사전 확률 추출을 사용하는 베이지안 프레임워크를 사용하며, 사전 분포의 꼬리 행동에 집중한다.
• 다익음 설정에서 베이지안 손실에 대해 $\Omega(\sqrt{T})$의 이론적 하한을 설정한다.
• 서브가우시안 농도 부등식을 사용하여 비최적 암의 추출 횟수의 기대값을 근사하여 손실을 분석한다.
• 비최적 암 $i$의 기대 추출 횟수는 $\min\left(1 + \frac{3}{C_1(1-2\delta - \mu_i)}, T(1-\mu_i)\right)$로 유계됨을 보이며, 꼬리 확률 감쇠를 활용한다.
• SS-Greedy의 베이지안 손실이 $k \geq \sqrt{T}$ 일 때 $\tilde{O}(\sqrt{T})$이며, $k < \sqrt{T}$ 일 때는 $\tilde{O}(T/k)$임을 증명함으로써 비율 최적성을 입증한다.

실험 결과

연구 질문

• RQ1 표준 설정에서 선형 손실을 보이는 것으로 알려진 그레디 알고리즘이 고암 밴딧 설정에서는 왜 UCB와 톰슨 샘플링보다 잘 작동하는가?
• RQ2 고암 설정에서 그레디 알고리즘이 최적의 손실을 달성할 수 있는 메커니즘은 무엇이며, 이는 문맥 밴딧에서의 무료 탐색과 어떻게 다를까?
• RQ3 사전 분포의 꼬리 행동은 이러한 새로운 형태의 무료 탐색에 어떻게 기여하는가?
• RQ4 베르누이 및 일반 보상 분포에 대해 다익음 설정에서 서브샘플드 그레디 알고리즘이 비율 최적성 여부는 무엇인가?
• RQ5 서브가우시안 농도와 사전 꼬리 분석을 통해 그레디 알고리즘의 이론적 손실 한계를 유도할 수 있는가?

주요 결과

• 그레디 알고리즘이 $k \geq \sqrt{T}$ 일 때 $\tilde{O}(\sqrt{T})$의 베이지안 손실을 달성하며, 이는 이론적 하한 $\Omega(\sqrt{T})$와 일치하여 비율 최적성을 입증한다.
• 암 수 $m = \sqrt{T}$인 서브샘플드 UCB(SS-UCB)는 $\tilde{O}(\sqrt{T})$의 손실을 달성하며 비율 최적성은 보장하지만, 수치적으로 그레디 알고리즘보다 열등하다.
• 그레디 알고리즘은 많은 근사 최적의 암이 존재하는 상황에서 비롯되는 새로운 형태의 '무료 탐색'의 이점을 얻으며, 이는 암 보상의 무거운 꼬리 사전 분포에서 기인한다.
• 이 무료 탐색의 원천은 문맥 밴딧에서의 것과 근본적으로 다릅니다. 문맥 밴딧의 경우 공변수의 변동성에 의존하는 반면, 본 논문의 경우 사전 꼬리 행동에 기반한다.
• 암 수 $m = T^{2/3}$인 서브샘플드 그레디 알고리즘(SS-Greedy)은 합성 및 실세계 데이터에 대한 시뮬레이션 전반에서 가장 뛰어난 경험적 성능을 보였다.
• 이론적 분석을 통해 그레디 알고리즘의 베이지안 손실이 $k < \sqrt{T}$ 일 때 $\tilde{O}(T/k)$, $k \geq \sqrt{T}$ 일 때 $\tilde{O}(\sqrt{T})$임을 확인하였으며, 이는 두 설정 모두에서 최적성을 입증한다.