[논문 리뷰] Nearly Optimal Regret for Stochastic Linear Bandits with Heavy-Tailed Payoffs

Bo Xue, Guanghui Wang외 2명|arXiv (Cornell University)|2020. 04. 28.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 4

한 줄 요약

이 논문은 두 가지 새로운 알고리즘—중위수의 평균과 동적 절단을 기반으로 한 것—을 제안한다. 이는 경량 꼬리 분포를 가진 스 tochastic 선형 밴디트 문제에 적용되며, 유한한 $1+\epsilon$ 모멘트만을 요구한다. 이는 거의 최적의 리그레트 한계 $ widetilde{O}(d^{1/2}T^{1/(1+\epsilon)})$ 를 확립하며, $ epsilon=1$ 일 때 정보 이론적 하한선과 로그 인자 외에 일치한다. 실험을 통해 스튜던트의 $t$ 분포와 페아레토 노이즈 상황에서 성능을 검증하였다.

ABSTRACT

In this paper, we study the problem of stochastic linear bandits with finite action sets. Most of existing work assume the payoffs are bounded or sub-Gaussian, which may be violated in some scenarios such as financial markets. To settle this issue, we analyze the linear bandits with heavy-tailed payoffs, where the payoffs admit finite $1+ε$ moments for some $ε\in(0,1]$. Through median of means and dynamic truncation, we propose two novel algorithms which enjoy a sublinear regret bound of $\widetilde{O}(d^{\frac{1}{2}}T^{\frac{1}{1+ε}})$, where $d$ is the dimension of contextual information and $T$ is the time horizon. Meanwhile, we provide an $Ω(d^{\fracε{1+ε}}T^{\frac{1}{1+ε}})$ lower bound, which implies our upper bound matches the lower bound up to polylogarithmic factors in the order of $d$ and $T$ when $ε=1$. Finally, we conduct numerical experiments to demonstrate the effectiveness of our algorithms and the empirical results strongly support our theoretical guarantees.

연구 동기 및 목표

• 기존의 스 tochastic 선형 밴디트 알고리즘이 유한한 상한 또는 서브-가우시안 보상에 기반하여 설계되어 실세계 환경(예: 금융 시장)에서는 성립하지 않을 수 있는 한계를 해결하기 위해.
• 유한한 $1+\epsilon$ 모멘트를 가지는 경량 꼬리 보상 분포에 대해 강건한 알고리즘 개발을 위해.
• 유한한 액션 수를 가진 선형 밴디트 문제에서 기존 상한선과 알려진 하한선 사이의 격차를 메우기 위해.
• 정보 이론적 하한선과 로그 인자 외에 일치하는 날것의 리그레트 한계를 확립하기 위해.

제안 방법

• 중위수의 평균 기법을 사용하여, 유한한 $1+\epsilon$ 모멘트를 가지는 경량 꼬리 분포 하에서 보상 평균을 강건하게 추정한다.
• 동적 절단을 도입하여 학습 과정에서 극단적인 보상 값의 영향을 적응적으로 통제한다.
• 두 가지 서로 다른 알고리즘—하나는 중위수의 평균 추정을 사용하고, 다른 하나는 절단을 사용—을 설계하였으며, 둘 다 유한한 액션 세트를 가진 선형 밴디트 환경에 맞게 조정되었다.
• 강건 통계를 사용하여 매개변수 추정치에 대한 고확률 신뢰구간을 유도함으로써, 경량 꼬리 노이즈 하에서의 안정성을 확보한다.
• 약한 모멘트 가정 하에서의 농도 부등식을 조합하는 새로운 분석 프레임워크를 사용하여 리그레트를 제한한다.
• K개의 액션과 d차원 컨텍스트를 가진 정교하게 설계된 딱딱한 사례를 통해 하한선을 확립하였으며, 리그레트 순서의 최적성은 입증하였다.

실험 결과

연구 질문

• RQ1 보상의 모멘트가 서브-가우시안 또는 유한한 상한이 아닌, 유한한 $1+\epsilon$ 모멘트만을 가지는 경우, 스 tochastic 선형 밴디트 문제에서 비선형 리그레트를 달성할 수 있는가?
• RQ2 경량 꼬리 보상 가정 하에서, 리그레트가 시간 영역 $T$와 차원 $d$에 대해 최적의 의존성을 가지는가?
• RQ3 대칭적이고 비대칭적인 경량 꼬리 노이즈 분포 모두에 강건한 알고리즘을 설계할 수 있는가?
• RQ4 최소한의 모멘트 가정인 $1+\epsilon$ 모멘트 하에서, 리그레트 한계가 $d$와 $T$에 대해 어떻게 척도화되는가?

주요 결과

• 제안된 알고리즘은 $\widetilde{O}(d^{1/2}T^{1/(1+\epsilon)})$ 의 리그레트 한계를 달성하며, 이는 이전 연구 대비 액션 수가 유한할 경우 $O(\sqrt{d})$ 요인만큼 향상된다.
• $\epsilon = 1$ 일 때 리그레트 한계는 $\widetilde{O}(\sqrt{dT})$ 가 되며, 이는 로그 인자 외에 최소화 하한선과 일치한다.
• $\Omega(d^{\epsilon/(1+\epsilon)}T^{1/(1+\epsilon)})$ 의 하한선이 확립되었으며, 이는 $T$ 에서 리그레트 순서의 최적성과 $d$ 에서의 거의 최적성( near-optimality) 을 확인한다.
• 수치 실험 결과, 제안된 알고리즘이 MoM, CRT, MENU, TOFU 와 같은 기존 방법들을 초월하는 성능을 보였다. 이는 대칭적(스튜던트의 $t$) 과 비대칭적(페아레토) 경량 꼬리 노이즈 모두에서 성립한다.
• 중위수의 평균 변형인 SupBMM 는 이론적 한계에서 더 좁은 로그 인자에 기반하여 가장 낮은 리그레트를 달성하였다.
• 결과적으로, 중위수의 평균과 동적 절단과 같은 강건한 추정 기법이 약한 모멘트 가정 하에서 선형 밴디트 문제에 효과적임을 보여주었다.