[논문 리뷰] A Scale Free Algorithm for Stochastic Bandits with Bounded Kurtosis

Tor Lattimore|arXiv (Cornell University)|2017. 03. 27.

Machine Learning and Algorithms인용 수 8

한 줄 요약

이 논문은 첨도가 유계인 조건 하에서 로그 규모의 손실을 달성하는 척도 자유(scale-free) 알고리즘을 제안한다. 이는 꼬리의 무거움을 측정하는 척도 자유 척도인 첨도를 기반으로 하며, 중앙값의 평균 추정기와 첨도로부터 유도된 신뢰구간을 활용함으로써 알려지지 않은 분산과 위치에 적응하여 사전에 척도 매개변수를 알지 못하더라도 최적의 손실 스케일링을 달성한다. 이는 이전의 결과를 정규분포나 균일분포에 국한된 가정을 초월하여 일반화한다.

ABSTRACT

Existing strategies for finite-armed stochastic bandits mostly depend on a parameter of scale that must be known in advance. Sometimes this is in the form of a bound on the payoffs, or the knowledge of a variance or subgaussian parameter. The notable exceptions are the analysis of Gaussian bandits with unknown mean and variance by Cowan and Katehakis [2015] and of uniform distributions with unknown support [Cowan and Katehakis, 2015]. The results derived in these specialised cases are generalised here to the non-parametric setup, where the learner knows only a bound on the kurtosis of the noise, which is a scale free measure of the extremity of outliers.

연구 동기 및 목표

• 분산이나 보상 범위와 같은 척도 매개변수의 사전 지식이 없이도 로그 규모의 손실을 달성하는 밴딧 알고리즘을 개발하는 것.
• 이전에 정규분포나 균일분포에 국한된 척도 자유 결과를 첨도를 통해 꼬리 행동의 강건한 측정으로 사용하는 비모수 설정으로 일반화하는 것.
• 첨도, 즉 이질적 값 발생 가능성의 척도 자유 측정이 스트로스틱 밴딧에서 신뢰구간과 손실을 제어하는 데 충분함을 입증하는 것.
• 알고리즘이 위치 및 척도 변환에 대해 불변임을 보여주어 다양한 보상 분포에 대해 강건함을 확보하는 것.

제안 방법

• 각 암의 평균 보상을 강건하게 추정하기 위해 중앙값의 평균 추정기를 사용하여 무거운 꼬리 이질적 값에 대한 민감도를 감소시킨다.
• 알려진 첨도 상한을 기반으로 한 신뢰구간을 구성함으로써, 서브-가우시안성이나 유계 지지역을 가정하지 않고도 척도 자유의 신뢰구간을 가능하게 한다.
• 첨도에 의존하는 분산 추정을 포함한 UCB 스타일 전략을 통해 탐색과 이용의 균형을 조절한다.
• 유계 첨도에서 유도된 농도 부등식을 기반으로 한 손실 분석을 통해, 무거운 꼬리 보상이 있을 경우에도 추정 오차를 엄격히 통제한다.
• 알고리즘은 이동 및 척도 불변성을 가지며, 보상을 상수 요인으로 변환해도 손실이 비례하게 스케일링되며 성능은 유지된다.
• 서브-가우시안성이나 유계 분산 가정에 의존하지 않는 자기 정규화 과정과 중앙값의 평균 기법을 사용하여 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 분산이나 유계 지지역과 같은 알려진 척도 매개변수를 가정하지 않고도 스트로스틱 밴딧에서 로그 규모의 손실을 달성할 수 있는가?
• RQ2 첨도가 정규분포나 균일분포와 같은 파라미터 모델을 초월하여 일반화할 수 있는 강건한 밴딧 알고리즘을 설계하는 데 충분하고 척도 자유 조건인가?
• RQ3 오직 첨도만 알려져 있을 경우, 보상 분포의 꼬리 행동이 밴딧 알고리즘 성능에 어떻게 영향을 미치는가?
• RQ4 오직 첨도만 유계일 때, 척도 자유이면서 비모수 설정에서 최적의 손실을 달성할 수 있는 밴딧 알고리즘이 존재하는가?

주요 결과

• 제안된 알고리즘은 $\limsup_{n\to\infty}\frac{\mathcal{R}_{n}}{\log(n)} \leq C\sum_{i:\Delta_{i}>0}\Delta_{i}\left(\kappa-1+\frac{\sigma^{2}_{i}}{\Delta_{i}^{2}}\right)$ 형태의 손실 상한을 달성한다. 여기서 $\kappa$는 첨도에 대한 알려진 상한이며 $C>0$는 보편 상수이다.
• 손실 상한은 척도 및 위치 불변성을 가지며, 이는 보상의 선형 변환에 영향을 받지 않음을 의미한다.
• 알고리즘은 이전의 정규분포나 균일분포 밴딧 결과를 첨도가 유일한 구조적 가정인 비모수 클래스로 일반화한다.
• 상한은 매개변수 공간 내부에서 알려진 하한과 상수 인자 이내로 일치하므로 타당성이 높으며, 특히 $\kappa \ll \kappa_\circ$일 때 그렇다.
• 분석 결과 첨도는 꼬리 행동에 대한 의미 있는 대체 측정으로서, 분산이 알려지지 않은 경우에도 강건한 신뢰구간을 가능하게 한다.
• 메서드는 베르누이 분포와 같이 첨도가 높은 경계 케이스에서도 효과적이지만, 일반 상한과는 다른 손실 스케일링을 보인다.