[논문 리뷰] Almost Optimal Algorithms for Linear Stochastic Bandits with Heavy-Tailed Payoffs

Han Shao, Xiaotian Yu외 2명|arXiv (Cornell University)|2018. 01. 01.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 보상이 $1 + \epsilon$ 차수의 유한한 모멘트를 가지는 중성적 분포를 가진 선형 스토케스틱 밴디트 문제를 위한 두 가지 새로운 알고리즘을 제안한다. $\epsilon \in (0,1]$이다. 이 알고리즘들은 역사를 기반으로 한 단순화, 적응형 결정 할당, 중앙값의 평균 추정을 조합함으로써, $\Omega(T^{1/(1+\epsilon)})$ 하한선에 비례하는 정규화 오차 상한을 달성하며, 다항식 순서의 $T$에 대해 최적성을 입증한다.

ABSTRACT

In linear stochastic bandits, it is commonly assumed that payoffs are with sub-Gaussian noises. In this paper, under a weaker assumption on noises, we study the problem of \underline{lin}ear stochastic {\underline b}andits with h{\underline e}avy-{\underline t}ailed payoffs (LinBET), where the distributions have finite moments of order $1+\epsilon$, for some $\epsilon\in (0,1]$. We rigorously analyze the regret lower bound of LinBET as $\Omega(T^{\frac{1}{1+\epsilon}})$, implying that finite moments of order 2 (i.e., finite variances) yield the bound of $\Omega(\sqrt{T})$, with $T$ being the total number of rounds to play bandits. The provided lower bound also indicates that the state-of-the-art algorithms for LinBET are far from optimal. By adopting median of means with a well-designed allocation of decisions and truncation based on historical information, we develop two novel bandit algorithms, where the regret upper bounds match the lower bound up to polylogarithmic factors. To the best of our knowledge, we are the first to solve LinBET optimally in the sense of the polynomial order on $T$. Our proposed algorithms are evaluated based on synthetic datasets, and outperform the state-of-the-art results.

연구 동기 및 목표

• 보상 분포가 무거운 尾을 가지며 $1 + \epsilon$ 차수의 유한 모멘트를 가지는 경우 선형 스토케스틱 밴디트 문제에서의 최적성에 대한 격차를 해결한다. $\epsilon \in (0,1]$이다.
• 이 설정에서 $\Omega(T^{1/(1+\epsilon)})$의 날카운 정규화 오차 하한선을 확립하여, 기존 알고리즘이 최적성이 아님을 보여준다.
• 이 하한선에 비례하는 정규화 오차 상한선을 달성하는 새로운 밴디트 알고리즘을 설계한다. 다항로그 인자 외에는 하한선과 일치한다.
• 합성 실험을 통해 제안된 알고리즘을 검증하여, 최신 기술 대비 뛰어난 성능을 보임을 입증한다.

제안 방법

• 무거운 꼬리 노이즈 하에서 보상 평균을 안정적으로 추정하기 위해 중앙값의 평균 추정기를 도입하여 극단적 값에 대한 민감도를 감소시킨다.
• 불확실성과 이전 성능에 기반해 행동을 동적으로 우선순위 정렬하는 새로운 결정 할당 전략을 도입하여 정규화 오차를 최소화한다.
• 관측된 보상 크기에 적응하는 데이터 기반의 단순화 메커니즘을 적용하여, 꼬리 행동에 대한 사전 지식 없이도 강건성을 향상시킨다.
• 중앙값의 평균 추정과 단순화된 경험 평균 추정을 조합하여, 약한 모멘트 가정 하에서도 안정적이고 정확한 보상 추정을 보장한다.
• 하나의 신뢰 구간 설계를 통해 노이즈의 부분-웨이불 성격을 고려하여, $1+\epsilon$ 모멘트 조건 하에서도 고확률 농도를 보장한다.
• 새로운 추정 프레임워크 하에서 추정 오차, 샘플링 편향, 분산 기여도를 분리하는 분해를 통해 정규화 오차 분석을 수립한다.

실험 결과

연구 질문

• RQ1 보상 분포가 $1 + \epsilon$ 차수의 유한 모멘트만을 가지는 경우 선형 스토케스틱 밴디트 문제의 기본 한계(즉, 정규화 오차 하한선)는 무엇인가?
• RQ2 약한 모멘트 가정 하에서 중성적 보상에 대해 강건하고 근사 최적의 정규화 오차를 달성할 수 있는 밴디트 알고리즘은 어떻게 설계할 수 있는가?
• RQ3 기존 최신 기술인 LinBET 알고리즘은 $1+\epsilon$ 모멘트 조건 하에서 최적성에 얼마나 뒤쳐지는가?
• RQ4 중앙값의 평균 추정과 적응형 단순화, 할당 전략을 조합하면 정보 이론적 하한선에 근접하는 정규화 오차 상한선을 달성할 수 있는가?
• RQ5 합성 중성적 보상 데이터 기반으로 제안된 방법은 이전 접근법 대비 정규화 오차 성능에서 어떻게 비교되는가?

주요 결과

• 논문은 중성적 보상이 $1+\epsilon$ 모멘트를 유한하게 가지는 선형 스토케스틱 밴디트 문제에 대해 $\Omega(T^{1/(1+\epsilon)})$의 정규화 오차 하한선을 확립한다.
• 제안된 알고리즘은 $\widetilde{O}(T^{1/(1+\epsilon)})$의 정규화 오차 상한선을 달성하며, 하한선에 다항로그 인자 외에는 정확히 일치함을 보여, $T$의 다항식 순서에서 최적성을 입증한다.
• 특수 케이스 $\epsilon = 1$ (즉, 유한 분산)일 경우 정규화 오차 상한선은 $\widetilde{O}(\sqrt{T})$로 줄어들며, 기존의 서브-가우시안 결과와 일치한다.
• 표준 경험 평균 추정보다 중앙값의 평균 추정기가 중성적 노이즈에 대해 훨씬 더 강건함을 보였다.
• 이전의 꼬리 매개변수에 대한 사전 지식이 필요 없이도 역사적 데이터 기반의 적응형 단순화 메커니즘이 극단적 관측치를 걸러내어 성능을 향상시킨다.
• 합성 데이터셋에 대한 실증 평가 결과, 제안된 알고리즘이 기존 최신 기술 대비 누적 정규화 오차 측면에서 뛰어난 성능을 보였다.