[논문 리뷰] New Insights into Bootstrapping for Bandits

Sharan Vaswani, Branislav Kveton외 4명|arXiv (Cornell University)|2018. 05. 24.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 12

한 줄 요약

이 논문은 밴딧 환경에서 비모수적 부트스트랩핑(NPB)의 근본적인 이론적 결함을 규명하며, 베르누이 밴딧 설정에서 거의 선형의 손실을 초래할 수 있음을 증명한다. 이를 해결하기 위해 가중 부트스트랩핑(WB)을 제안하며, 이는 베르누이 및 가우시안 보상에 대해 수학적으로 톰슨 샘플링과 동일하며, 거의 최적의 손실을 달성한다. 또한, 유계 분포에서 NPB와 표준 TS보다 실증적으로 뛰어난 성능을 보인다.

ABSTRACT

We investigate the use of bootstrapping in the bandit setting. We first show that the commonly used non-parametric bootstrapping (NPB) procedure can be provably inefficient and establish a near-linear lower bound on the regret incurred by it under the bandit model with Bernoulli rewards. We show that NPB with an appropriate amount of forced exploration can result in sub-linear albeit sub-optimal regret. As an alternative to NPB, we propose a weighted bootstrapping (WB) procedure. For Bernoulli rewards, WB with multiplicative exponential weights is mathematically equivalent to Thompson sampling (TS) and results in near-optimal regret bounds. Similarly, in the bandit setting with Gaussian rewards, we show that WB with additive Gaussian weights achieves near-optimal regret. Beyond these special cases, we show that WB leads to better empirical performance than TS for several reward distributions bounded on $[0,1]$. For the contextual bandit setting, we give practical guidelines that make bootstrapping simple and efficient to implement and result in good empirical performance on real-world datasets.

연구 동기 및 목표

• 비모수적 부트스트랩핑(NPB)이 다중 암반 밴딧 설정에서 가지는 이론적 한계를 규명하는 것.
• 일반적인 분포에 대해 거의 최적의 손실을 달성하고 톰슨 샘플링(TS)과 동일한 성능을 내는 가중 부트스트랩핑(WB) 절차를 제안하는 것.
• 컨텍스트 밴딧에 구현하는 데 실용적이고 하이퍼파라미터가 없는 지침을 제공하는 것.
• 다양한 보상 분포와 실제 데이터셋에서 WB를 NPB 및 TS와 비교하여 실증적으로 평가하는 것.

제안 방법

• 논문은 베르누이 보상에 대해 부트스트랩 샘플을 곱셈형 지수 가중치로 추출하는 가중 부트스트랩핑(WB)을 도입한다.
• 가우시안 보상의 경우, WB는 слож형 가우시안 가중치를 사용하며, 이는 거의 최적의 손실 한계를 이끈다.
• WB는 베르누이 및 가우시안 보상 가정 하에서 수학적으로 톰슨 샘플링(TS)과 동일하다고 입증된다.
• 컨텍스트 밴딧 설정에서, 저자들은 특성 분산을 유지하기 위해 컨텍스트 공분산 행렬의 고유벡터를 사용한 하이퍼파라미터 없는 초기화 전략을 제안한다.
• 부트스트랩 모델의 최대우도 추정치를 효율적으로 계산하기 위해 라운드 간에 온도를 유지하는 확률적 경사 하강법을 사용한다.
• 실증 평가에서는 하이퍼파라미터 조정 없이 부트스트랩 샘플링을 사용한 로지스틱 회귀, 신경망, 선형 모델을 활용한다.

실험 결과

연구 질문

• RQ1 비모수적 부트스트랩핑(NPB)은 베르누이 보상이 있는 다중 암반 밴딧 설정에서 증명 가능하게 비효율적일 수 있는가?
• RQ2 가중 부트스트랩핑(WB)은 베르누이 및 가우시안 보상이 있는 밴딧 문제에서 거의 최적의 손실을 달성하는가?
• RQ3 유계 보상 분포에서 WB가 실증적으로 톰슨 샘플링(TS)과 비모수적 부트스트랩핑(NPB)보다 어떻게 비교되는가?
• RQ4 하이퍼파라미터 조정 없이 컨텍스트 밴딧에서 부트스트랩핑을 실용적이고 효율적으로 만들 수 있는가?
• RQ5 강제 탐색 없이도 컨텍스트 밴딧에서 부트스트랩핑의 좋은 성능을 보장하는 초기화 전략은 무엇인가?

주요 결과

• NPB는 베르누이 밴딧 설정에서 거의 선형의 손실 하한을 초래하며, 이는 비효율성이 증명됨을 의미한다.
• 강제 탐색을 통한 NPB는 선형 이하의 손실을 보이지만 최적은 아니며, 이는 메서드 자체의 본질적 한계를 시사한다.
• 곱셈형 지수 가중치를 사용한 WB는 베르누이 보상에서 수학적으로 톰슨 샘플링(TS)과 동일하며, 거의 최적의 손실을 달성한다.
• 가우시안 보상의 경우, 덧셈형 가우시안 가중치를 사용한 WB 역시 거의 최적의 손실 한계를 달성한다.
• 실제 데이터셋(CovType 및 MNIST)에서, 로지스틱 회귀 및 신경망을 사용한 WB는 NPB를 능가하고, 조정된 이psilon-그리디 성능과 동일하거나 이를 초월한다.
• CovType에서는 WB가 로지스틱 회귀를 평균 0.16초 동안 라운드당 실행하며, MNIST에서는 1.88초를 소요하여 계산 효율성을 입증한다.