[논문 리뷰] Inference for Batched Bandits

Kelly Zhang, Lucas Janson외 1명|PubMed|2020. 02. 08.

Advanced Bandit Algorithms Research참고 문헌 44인용 수 19

한 줄 요약

이 논문은 적응적이고 종속적인 표본 추출로 인해 표준 OLS가 실패하는 배치 밴딧 알고리즘을 통해 수집된 데이터에 대해 유효한 통계적 추론을 가능하게 하는 배치 OLS(BOLS) 추정량을 소개한다. 표준 OLS는 팔 간의 마진이 0일 경우 점점 더 정규분포가 아니게 되어 잘못된 추론을 유도하지만, BOLS는 점근적 정규성과 비정상성에 대한 강건성을 복원하여 치료 효과 차이에 대한 신뢰구간을 신뢰성 있게 제공한다.

ABSTRACT

As bandit algorithms are increasingly utilized in scientific studies and industrial applications, there is an associated increasing need for reliable inference methods based on the resulting adaptively-collected data. In this work, we develop methods for inference on data collected in batches using a bandit algorithm. We first prove that the ordinary least squares estimator (OLS), which is asymptotically normal on independently sampled data, is <i>not</i> asymptotically normal on data collected using standard bandit algorithms when there is no unique optimal arm. This asymptotic non-normality result implies that the naive assumption that the OLS estimator is approximately normal can lead to Type-1 error inflation and confidence intervals with below-nominal coverage probabilities. Second, we introduce the Batched OLS estimator (BOLS) that we prove is (1) asymptotically normal on data collected from both multi-arm and contextual bandits and (2) robust to non-stationarity in the baseline reward.

연구 동기 및 목표

• 밴딧 알고리즘을 사용하여 수집된 데이터에 대한 신뢰할 수 있는 통계적 추론 방법의 부족을 해결하고자 하며, 특히 온라인 교육 및 모바일 헬스와 같은 실제 적용 사례에서의 응용을 목적으로 한다.
• 진정한 팔 간의 마진이 0일 경우 일반선형제곱법(OLS) 추정량이 점근적으로 정규분포가 아니게 되는 근본적인 문제를 규명하고 이를 해결하고자 한다.
• 다양한 팔과 문맥 기반 밴딧 환경에서도 조건부로 점근적 정규성을 보장하는 새로운 추정량인 '배치 OLS(BOLS)'를 개발하고자 한다.
• 시간에 따라 변화하는 보상에 대한 비정상성 조건에서도 추론이 유효하도록 보장하며, 정상성 가정 없이도 가능하도록 하고자 한다.
• 밴딧으로 수집된 데이터에 대해 신뢰구간을 구성하는 실용적이고 점근적으로 타당한 방법을 제공하여 과학적 발견과 일반화 가능한 결론 도출을 가능하게 하고자 한다.

제안 방법

• 적응적 밴딧 표본 추출이 유도하는 종속성 문제를 보완하기 위해 OLS를 수정한 배치 OLS(BOLS) 추정량을 제안한다.
• 디자인 행렬과 오차 항 간의 상관관계를 제거하기 위해 시간에 따라 감쇠하는 가중치 행렬을 사용하는 W-비상관 추정량 프레임워크를 도입한다.
• 비상관성을 확보하기 위해 최적의 가중치 행렬 W를 재귀적 업데이트 규칙을 통해 유도한다: $\textbf{W}_{i} = (\underline{\textbf{I}}_{p} - \underline{\textbf{W}}_{i-1}\underline{\textbf{X}}_{i-1}) \frac{\textbf{X}_{i}}{\lambda + \|\textbf{X}_{i}\|^{2}_{2}}$, 이는 상관관계를 제거한다.
• 시간 할인을 적용하기 위해 $\lambda \geq 1$로 설정하여 후행 표본의 영향을 줄이고 초기 표본의 영향을 증가시켜 비정상성 조건 하에서도 추정량의 안정성을 확보한다.
• BOLS가 다중 팔 및 문맥 기반 밴딧 환경 모두에서 점근적으로 정규분포를 따르며, 마진이 0이거나 보상이 비정상적일 경우에도 성립함을 증명한다.
• 두 팔 밴딧 케이스에서 W-비상관 추정량이 $r(1-r)^{N_{1,i-1}}$를 통해 후행 관측치를 명시적으로 가중치를 줄 수 있음을 보여주며, 여기서 $r = 1/(\lambda+1)$이다.

실험 결과

연구 질문

• RQ1 왜 일반선형제곱법(OLS) 추정량은 밴딧의 두 팔 간의 마진이 0일 경우 점근적으로 정규분포가 아니게 되는가?
• RQ2 최적의 팔이 유일하지 않을 경우에도 적응적이고 배치된 밴딧 표본 추출 조건에서 점근적 정규성을 유지할 수 있는 수정된 OLS 추정량을 구성할 수 있는가?
• RQ3 밴딧 실험에서 보상의 비정상성에 대해 통계적 추론을 어떻게 강건하게 만들 수 있는가?
• RQ4 BOLS 추정량에서 표본 추출의 종속성을 보정하기 위해 시간 감쇠 가중치 체계를 사용하는 데 이론적 근거는 무엇인가?
• RQ5 진정한 마진이 0일 경우에도 BOLS 추정량이 치료 효과에 대한 신뢰구간의 정확도를 유지하는가?

주요 결과

• 밴딧 알고리즘에서 팔 선택 확률이 농도가 없기 때문에, 진정한 팔 간의 마진이 0일 경우 OLS 추정량은 점근적으로 정규분포가 아니다.
• 마진이 0이 아닐 경우 OLS는 점근적으로 정규분포를 따르지만, 균일 수렴이 없기 때문에 정규근사나 부트스트랩과 같은 표준 추론 방법이 무효화된다.
• 배치 OLS(BOLS) 추정량은 최적의 팔이 유일하지 않을 경우에도 다중 팔 및 문맥 기반 밴딧 환경 모두에서 점근적으로 정규분포를 따름을 증명하였다.
• BOLS는 팔 평균이 시간에 따라 변화하는 비정상적 보상 과정에서도 유효하며, 정상성 가정 없이도 성립한다.
• W-비상관 추정량은 시간 감쇠 가중치를 적용하여 비상관성을 달성하며, i번째 표본에 대한 가중치는 $r(1-r)^{N_{1,i-1}}$ 비례하게 되며, 여기서 $r = 1/(\lambda+1)$이다.
• BOLS 추정량은 비-i.i.d. 및 비정상적 조건에서도 치료 효과 차이에 대한 신뢰구간을 안정적으로 제공하며, 이론적 명목 수준에 가까운 커버리지 확률을 유지한다.