[논문 리뷰] Bandits with heavy tail

Sébastien Bubeck, Nicolò Cesa‐Bianchi외 1명|arXiv (Cornell University)|2012. 09. 08.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 8

한 줄 요약

이 논문은 약한 모멘트 가정 하에 있는 스토하스틱 다중 손잡이 밴딧을 다루며, 유한한 분산(2차 모멘트)이 충분하여 로그 스케일의 리그레트를 달성할 수 있음을 보여준다. 이는 서브-가우시안 성능과 일치한다. 논문은 경험 평균을 대체하기 위해 탈락 평균, 카토니의 M-추정량, 메디안-오브-메인지드를 포함한 강력한 평균 추정량을 도입하여, 실패 확률에 대해 다항식적으로 척도가 조절되는 신뢰 구간을 가능하게 하며, 이는 무거운 尾 꼬리 분포를 가진 보상에서도 상수 인자까지 최적의 리그레트를 가능하게 한다. 이는 $1+\varepsilon$ 차수의 모멘트를 가진 경우 $\varepsilon \in (0,1]$이다. 주요 결과는 리그레트가 $O\left(\sum_i \left(\frac{1}{\Delta_i}\right)^{1/\varepsilon} \log n\right)$ 스케일을 따른다는 것이다. 하한 경계는 이러한 의존성이 피할 수 없다는 것을 증명한다.

ABSTRACT

The stochastic multi-armed bandit problem is well understood when the reward distributions are sub-Gaussian. In this paper we examine the bandit problem under the weaker assumption that the distributions have moments of order 1+ε, for some $ε\in (0,1]$. Surprisingly, moments of order 2 (i.e., finite variance) are sufficient to obtain regret bounds of the same order as under sub-Gaussian reward distributions. In order to achieve such regret, we define sampling strategies based on refined estimators of the mean such as the truncated empirical mean, Catoni's M-estimator, and the median-of-means estimator. We also derive matching lower bounds that also show that the best achievable regret deteriorates when ε<1.

연구 동기 및 목표

• 보상 분포가 서브-가우시안 꼬리가 아니라, 유한한 $1+\varepsilon$ 차수의 모멘트만을 가지는 경우 스토하스틱 다중 손잡이 밴딧을 분석하는 것.
• 이전 연구에서 무거운 꼬리 분포 하에서 경험 평균의 열악한 농도 성질이 초래하는 비최적의 리그레트 문제를 해결하는 것.
• 약한 모멘트 조건 하에서 최적의 리그레트 스케일링을 달성하는 강력한 평균 추정량 기반의 샘플링 전략을 설계하는 것.
• 상수 인자까지 최적임을 증명하기 위해 상한과 하한 경계를 함께 설정하는 것.

제안 방법

• 약한 모멘트 조건 하에서 강력한 농도 성질을 가진 추정량을 사용하는 일반적인 강력한 상한 신뢰 구간(UCB) 전략 프레임워크를 제안한다.
• 세 가지 강력한 평균 추정량을 사용한다: 탈락된 경험 평균, 카토니의 $M$-추정량, 메디안-오브-메인지드 추정량. 각각 서브-웨이불 꼬리 경계를 제공한다.
• 이 추정량들의 농도 부등식을 유도하여, 이격 확률이 $n^{-\varepsilon}$ 비율로 감소함을 보이며, 경험 평균의 다항식 감소보다 향상됨을 보여준다.
• 이 추정량들을 사용하여 신뢰 구간을 구성함으로써, 증명 가능한 리그레트 보장을 가진 강력한 UCB 알고리즘을 구축한다.
• 추정량의 모멘트 생성 함수에 레전드르-펜첼 변환을 적용하여 날카운 신뢰 구간을 도출한다.
• 특정한 무거운 꼬리 분포를 기반으로 한 새로운 하한 경계 논증을 사용하여, 리그레트에 나타나는 $1/\Delta_i^{1/\varepsilon}$ 의존성이 피할 수 없다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 보상 분포가 서브-가우시안 꼬리가 아니라 유한한 분산(2차 모멘트)만을 가지는 경우, 스토하스틱 밴딧에서 로그 스케일 리그레트를 달성할 수 있는가?
• RQ2 탈락 평균이나 메디안-오브-메인지드와 같은 강력한 평균 추정량이, 무거운 꼬리 분포 하에서 경험 평균보다 높은 농도 성질을 보이는가?
• RQ3 보상 분포가 $\varepsilon < 1$ 인 $1+\varepsilon$ 차수의 모멘트를 가질 때, 리그레트의 갭 $\Delta_i$ 에 대한 최적의 의존성은 무엇인가?
• RQ4 보상 분포가 $L^{1+\varepsilon}$ 모멘트 조건을 만족할 때, 리그레트 상한에 나타나는 $1/\Delta_i^{1/\varepsilon}$ 스케일링은 피할 수 없는가?
• RQ5 제안된 리그레트 상한이 상수 인자까지 최적임을 보여주는 일치하는 하한 경계를 유도할 수 있는가?

주요 결과

• 유한한 분산(2차 모멘트)이 있어도, 유한한 모멘트 생성 함수가 없더라도 서브-가우시안 보상 하에서와 동일한 순서의 리그레트 상한을 달성할 수 있다.
• $\mathbb{E}|X - \mu|^{1+\varepsilon} \leq v$ 인 분포에 대해, 제안된 전략은 리그레트 $R_n \leq \sum_{i:\Delta_i > 0} \left(8\left(\frac{4}{\Delta_i}\right)^{1/\varepsilon} \log n + 5\Delta_i\right)$ 를 달성하며, 이는 $n$ 에 대해 로그 스케일이다.
• 경험 평균은 무거운 꼬리 하에서 지수 꼬리 경계를 제공하지 못하며, 이는 다항식 리그레트를 초래한다. 따라서 로그 스케일 리그레트를 달성하기 위해 강력한 추정량이 필수적이다.
• 리그레트 상한에 나타나는 $1/\Delta_i^{1/\varepsilon}$ 의존성은, 상한과 일치하는 하한 경계를 통해 피할 수 없다는 것이 입증되었다.
• 탈락 평균과 메디안-오브-메인지드 추정량은 $\mathbb{P}(|\widehat{\mu} - \mu| > \eta) \leq C n^{-\varepsilon} \eta^{-(1+\varepsilon)}$ 를 만족하는 서브-웨이불 꼬리 행동을 보이며, 날카운 신뢰 구간을 가능하게 한다.
• 논문은 $\varepsilon \to 0$ 일 때 최선의 달성 가능한 리그레트가 악화됨을 증명하였으며, $L^{1+\varepsilon}$ 모멘트 가정 하에서 $1/\Delta_i^{1/\varepsilon}$ 스케일링이 최적임을 보였다.