[논문 리뷰] On the bias, risk and consistency of sample means in multi-armed bandits

Jaehyeok Shin, Aaditya Ramdas외 1명|arXiv (Cornell University)|2019. 02. 02.

Advanced Bandit Algorithms Research참고 문헌 43인용 수 19

한 줄 요약

이 논문은 적응적 샘플링, 정지, 선택 및 되감기 조건 하에서 다중 손잡이 밴딧(MAB) 설정에서 표본 평균의 편향, 위험, 일致성에 대한 종합적인 분석을 제공한다. 네 가지의 선택 편향 원인을 규명하고, 위험을 제한하기 위해 효과적 표본 크기를 도입하며, 변동성 표현과 마르팅게일 집중 부등식을 사용하여 일반적인 모멘트 조건 하에서 일치성과 위험 통제를 수립한다.

ABSTRACT

The sample mean is among the most well studied estimators in statistics, having many desirable properties such as unbiasedness and consistency. However, when analyzing data collected using a multi-armed bandit (MAB) experiment, the sample mean is biased and much remains to be understood about its properties. For example, when is it consistent, how large is its bias, and can we bound its mean squared error? This paper delivers a thorough and systematic treatment of the bias, risk and consistency of MAB sample means. Specifically, we identify four distinct sources of selection bias (sampling, stopping, choosing and rewinding) and analyze them both separately and together. We further demonstrate that a new notion of \emph{effective sample size} can be used to bound the risk of the sample mean under suitable loss functions. We present several carefully designed examples to provide intuition on the different sources of selection bias we study. Our treatment is nonparametric and algorithm-agnostic, meaning that it is not tied to a specific algorithm or goal. In a nutshell, our proofs combine variational representations of information-theoretic divergences with new martingale concentration inequalities.

연구 동기 및 목표

• 적응적 데이터 수집 조건 하에서 다중 손잡이 밴딧(MAB)에서 표본 평균의 편향, 위험, 일치성을 체계적으로 분석하기.
• 샘플링, 정지, 선택, 되감기의 네 가지 구별되는 선택 편향 원인을 규명하고 특성화하기.
• 모든 네 가지 적응적 구성 요소가 존재하는 완전 적응적 설정에서 표본 평균의 일치성에 대한 충분 조건 수립하기.
• 일반적인 모멘트 및 尾 조건 하에서 새로운 효과적 표본 크기 개념을 사용하여 표본 평균의 날카운 위험 한계 유도하기.
• 구체적인 알고리즘이나 목표를 가정하지 않는 비모수적, 알고리즘 독립적 프레임워크를 다양한 MAB 응용 분야에 적용 가능하도록 제공하기.

제안 방법

• 정보이론적 발산의 변동성 표현을 사용하여 편향과 위험을 분석한다.
• 새로운 마르팅게일 집중 부등식을 적용하여 적응적 정지 및 샘플링 조건 하에서 표본 평균의 행동을 통제한다.
• 일般적인 손실 함수 하에서 표본 평균의 평균 제곱 오차를 제한하기 위해 새로운 효과적 표본 크기 개념을 도입한다.
• Donsker-Varadhan 표현과 자기정규화 과정 부등식을 통해 위험 한계를 유도하며, 특히 서브-가우시안 손잡이에 대해 집중적으로 다룬다.
• 비모수적이고 알고리즘 독립적인 접근 방식을 사용하여 특정 분포 가정이나 특정 밴딧 알고리즘에 의존하지 않는다.
• 각 편향 원인의 영향을 설명하는 철저히 설계된 예시를 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 모든 네 가지 적응적 구성 요소(샘플링, 정지, 선택, 되감기)를 포함하는 완전 적응적 MAB 설정에서 표본 평균이 일치하는 조건은 무엇인가?
• RQ2 MAB 데이터 수집에서 네 가지 구별되는 선택 편향 원인은 무엇이며, 상호작용 방식은 어떻게 되는가?
• RQ3 일반적인 모멘트 및 尾 조건 하에서 적응적 설정에서 표본 평균의 위험을 어떻게 제한할 수 있는가?
• RQ4 새로운 효과적 표본 크기 개념을 사용하여 적응적 밴딧 실험에서 표본 평균의 평균 제곱 오차를 제어할 수 있는가?
• RQ5 기존의 서브-가우시안 손잡이에 대한 위험 한계와 제안된 한계의 타당성과 일반성 측면에서 비교해보면 어떻게 되는가?

주요 결과

• 표본 평균은 적응적 MAB 설정에서 편향을 보이며, 본 논문은 네 가지의 명확히 구분되는 선택 편향 원인(샘플링, 정지, 선택, 되감기)을 규명한다.
• 논문은 모든 네 가지 적응적 구성 요소가 존재하는 상황에서 일반적인 단조성 조건 하에서 표본 평균이 일치함을 수립한다.
• 새로운 효과적 표본 크기 측정법을 도입하고, 일반적인 손실 함수 하에서 표본 평균의 평균 제곱 오차에 대한 날카운 한계를 제공함을 보였다.
• 서브-가우시안 손잡이의 경우, 자기정규화 과정을 사용하여 위험 한계를 도출하였으며, 이는 주요 한계와 상수 인자 정도의 오차로 일치하며, 표본 크기 변동성이 클수록 더 엄격한 통제를 가능하게 한다.
• 제안된 위험 한계는 일부 기존 한계가 정지 시간에 국한되는 것과 달리 임의의 랜덤 시간에 적용 가능하다.
• 표본 크기 변동성이 높은 설정에서는 기존의 정규화 방법(예: $ ilde{N}^{ ext{E}}$)보다 효과적 표본 크기 정규화가 더 낮은 위험 제어를 제공하며 성능이 뛰어나다.