[논문 리뷰] Residual Bootstrap Exploration for Bandit Algorithms

Chi‐Hua Wang, Yang Yu외 2명|arXiv (Cornell University)|2020. 02. 19.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 5

한 줄 요약

이 논문은 잔차 기반 분산 증폭 메커니즘을 통해 데이터 기반 무작위성을 주입하는 새로운 편향 기반 탐색 방법인 Residual Bootstrap Exploration (ReBoot)를 소개한다. ReBoot는 가우시안 다수의 손잡이 밴딧에서 인스턴스에 의존하는 로그 성능을 달성하며, 유계가 아닌 보상 설정에서 Giro와 PHE를 능가하면서 톰슨 샘플링 수준의 계산 효율성을 유지한다.

ABSTRACT

In this paper, we propose a novel perturbation-based exploration method in bandit algorithms with bounded or unbounded rewards, called residual bootstrap exploration ( exttt{ReBoot}). The exttt{ReBoot} enforces exploration by injecting data-driven randomness through a residual-based perturbation mechanism. This novel mechanism captures the underlying distributional properties of fitting errors, and more importantly boosts exploration to escape from suboptimal solutions (for small sample sizes) by inflating variance level in an extit{unconventional} way. In theory, with appropriate variance inflation level, exttt{ReBoot} provably secures instance-dependent logarithmic regret in Gaussian multi-armed bandits. We evaluate the exttt{ReBoot} in different synthetic multi-armed bandits problems and observe that the exttt{ReBoot} performs better for unbounded rewards and more robustly than exttt{Giro} \cite{kveton2018garbage} and exttt{PHE} \cite{kveton2019perturbed}, with comparable computational efficiency to the Thompson sampling method.

연구 동기 및 목표

• 유계 및 무계 보상 분포 모두에서 작동하는 일반화 가능하고 데이터 기반의 탐색 메커니즘을 개발하기 위해.
• Giro와 PHE와 같은 기존 부스팅 기반 방법의 한계를 해결하기 위해, 고정된 가짜 보상에 의존하여 무계 또는 이방산성 보상에서 실패하는 문제를 해결하기 위해.
• 소표본 환경에서 하위최적의 액션에서 벗어나기 위해 증명 가능하게 탐색을 강화하는 분산 증폭 기반 설계를 위해.
• 특히 가우시안 밴딧에서 ReBoot의 이론적 리그레트 보장을 수립하기 위해.
• 다양한 보상 분포와 분산 수준에서 ReBoot의 강건성과 계산 효율성을 경험적으로 검증하기 위해.

제안 방법

• ReBoot는 잔차 제곱합(RSS)을 통해 피팅 오차 분포를 모델링함으로써 잔차 기반 편향을 사용하여 데이터 기반의 무작위성을 주입한다.
• 잔차에 분산 증폭을 적용하여 불확실성을 증가시키고, 특히 초기 학습 단계에서 탐색을 장려한다.
• 이 방법은 '부스팅 리더를 따라가기' 알고리즘으로 프레임워크화되며, 분산이 증폭된 부스팅 보상 추정치에 기반해 액션을 선택한다.
• 조정 파rameter $\sigma_a$ 는 분산 증폭 수준을 제어하며, 가우시안 밴딧에서 최적 성능을 위한 이론적 지침을 제공한다.
• 다른 방법들이 여러 부스팅 샘플이 필요한 것과 달리, ReBoot는 라운드당 한 번의 재샘플링만으로 계산 효율성을 유지한다.
• UCB나 TS가 확장성 문제를 겪는 것과는 달리, ReBoot는 구조적 및 비선형 밴딧 문제로 일반화 가능하도록 설계되었다.

실험 결과

연구 질문

• RQ1 데이터 기반 분산 증폭을 갖춘 잔차 부스팅 메커니즘은 무계 보상 밴딧에서 최적의 리그레트를 달성할 수 있는가?
• RQ2 Giro와 PHE와 비교해 ReBoot는 평균 이동과 분산 이방산성에 대해 얼마나 강건한가?
• RQ3 분산 증폭 파rameter $\sigma_a$ 는 다양한 보상 분포에서 리그레트와 성능에 어떤 영향을 미치는가?
• RQ4 ReBoot는 톰슨 샘플링 수준의 계산 효율성을 유지하면서도 무계 설정에서 그를 능가할 수 있는가?
• RQ5 ReBoot의 잔차 기반 편향 메커니즘은 소표본 환경에서 하위최적의 액션에서 효과적으로 벗어나는가?

주요 결과

• ReBoot는 가우시안 다수의 손잡이 밴딧에서 인스턴스에 의존하는 로그 리그레트를 달성하여, 무계 보상에 대해 최적의 이론적 성능을 입증한다.
• 평균 이동과 분산 변화가 있는 실험에서 ReBoot는 강건성을 보였고, 고정된 가짜 보상 가정에 기반한 Giro와 PHE는 성능 저하를 겪었다.
• 지수 및 로지스틱 밴딧에서 ReBoot는 $\sigma_a = 1.5$ 일 때도 선형 이하의 리그레트를 유지하여, 가우시안 분포를 초월한 일반화 가능성을 입증한다.
• ReBoot의 리그레트는 분산 증가에 따라 느리게 증가하며, 베르누이 노이즈에 의존하는 PHE보다 우수한 성능을 보였다. 이는 PHE가 분산 변화에 매우 민감함을 시사한다.
• 계산 벤치마크 결과, ReBoot는 톰슨 샘플링과 PHE 수준의 실행 시간을 유지했으며, 가짜 보상로 반복 재샘플링을 수행하는 Giro보다는 유의미하게 빠르게 작동했다.
• 가우시안 및 지수 밴딧에서 최적의 $\sigma_a$ 값은 $1.5$이며, 로지스틱 분포에서는 $\sigma_a = 1$이 약간 더 우수한 성능을 보였으며, 이는 조정에 민감함을 시사하지만 강력한 경험적 성능을 보임을 의미한다.