[논문 리뷰] Bayesian bandits: balancing the exploration-exploitation tradeoff via double sampling

Iñigo Urteaga, Chris H. Wiggins|arXiv (Cornell University)|2017. 09. 10.

Advanced Bandit Algorithms Research참고 문헌 10인용 수 6

한 줄 요약

이 논문은 사후 분포에서 몬테카를로 샘플링을 통해 충분 통계량을 추정함으로써 탐색-이용 균형을 향상시키는 이중 샘플링 기법을 제안한다. 불확실성에 기반해 자동으로 샘플링을 조정함으로써, 맥락적 가우시안 밴딧 환경에서 톰슨 샘플링 및 베이즈-UCB에 비해 누적 누적 손실을 최대 50%까지 감소시키며, 수동적인 초모수 조정이 필요하지 않다.

ABSTRACT

Reinforcement learning studies how to balance exploration and exploitation in real-world systems, optimizing interactions with the world while simultaneously learning how the world operates. One general class of algorithms for such learning is the multi-armed bandit setting. Randomized probability matching, based upon the Thompson sampling approach introduced in the 1930s, has recently been shown to perform well and to enjoy provable optimality properties. It permits generative, interpretable modeling in a Bayesian setting, where prior knowledge is incorporated, and the computed posteriors naturally capture the full state of knowledge. In this work, we harness the information contained in the Bayesian posterior and estimate its sufficient statistics via sampling. In several application domains, for example in health and medicine, each interaction with the world can be expensive and invasive, whereas drawing samples from the model is relatively inexpensive. Exploiting this viewpoint, we develop a double sampling technique driven by the uncertainty in the learning process: it favors exploitation when certain about the properties of each arm, exploring otherwise. The proposed algorithm does not make any distributional assumption and it is applicable to complex reward distributions, as long as Bayesian posterior updates are computable. Utilizing the estimated posterior sufficient statistics, double sampling autonomously balances the exploration-exploitation tradeoff to make better informed decisions. We empirically show its reduced cumulative regret when compared to state-of-the-art alternatives in representative bandit settings.

연구 동기 및 목표

• 다양한 분포 가정이 없는 베이지안 프레임워크를 통해 다중 암드 밴딧 문제의 탐색-이용 균형 문제를 해결하기 위해.
• 실제 응용에서 비용이 많이 들거나 침습적인 상호작용이 발생할 경우, 저비용 모델 샘플링을 통해 의사결정을 향상시키기 위해.
• 사후 불확실성에 기반해 탐색과 이용을 자동으로 균형 잡는 방법을 개발하여 수동적인 초모수 조정이 필요 없도록 하기 위해.
• 최신 알고리즘인 톰슨 샘플링 및 베이즈-UCB와 비교하여 누적 손실이 감소하는 것을 경험적으로 입증하기 위해.
• 후행 업데이트가 계산 가능한 한도에서 복잡한 보상 분포에 적용 가능한 일반화 가능한, 분포에 종속되지 않는 접근법을 제공하기 위해.

제안 방법

• 이 방법은 이중 샘플링을 사용한다: 먼저 모델 파라미터의 사후 분포에서 샘플링을 수행하고, 그 샘플을 바탕으로 의사결정을 위한 충분 통계량을 추정한다.
• 해석적으로 다루기 어려운 적분을 몬테카를로 샘플링을 통해 근사함으로써, 닫힌 형식의 해가 없더라도 확률 매칭이 가능해진다.
• 암호 선택 정책은 불확실성에 의해 이끌린다—높은 불확실성일수록 더 많은 탐색이 발생하고, 낮은 불확실성일수록 이용이 선호된다.
• 알고리즘은 학습 불확실성에 기반해 후보 암 샘플 수 $N_{t+1}$ 를 동적으로 조정함으로써 탐색과 이용의 자동 균형을 이룬다.
• 공액 사전분포(Normal-Inverse-Gamma)를 사용하여 후행 업데이트를 순차적 또는 배치 단위로 수행하며, 관측된 보상과 맥락에 따라 파라미터를 업데이트한다.
• 이 방법은 균일하고 상관이 없는 맥락을 가진 맥락적 선형 가우시안 밴딧에 적용되며, 밴딧 복잡도의 대체로 최소 KL 발산을 사용한다.

실험 결과

연구 질문

• RQ1 사후 분포에서의 이중 샘플링이 분포 가정 없이 베이지안 밴딧에서 탐색-이용 균형을 향상시킬 수 있는가?
• RQ2 제안된 이중 샘플링 방법의 성능은 누적 손실 측면에서 톰슨 샘플링 및 베이즈-UCB와 비교해 어떻게 되는가?
• RQ3 실제 상호작용이 비용이 많이 들지만 모델 샘플링은 저비용인 환경에서 모델 샘플링이 손실 감소에 얼마나 기여할 수 있는가?
• RQ4 이 방법은 초모수 조정 없이 탐색과 이용을 자동으로 균형 잡을 수 있는가?
• RQ5 KL 발산으로 측정된 밴딧 복잡도의 다양한 수준에서 알고리즘이 어떻게 성능을 발휘하는가?

주요 결과

• 이중 샘플링 방법은 이원 맥락적 가우시안 밴딧 환경에서 톰슨 샘플링 대비 최대 40%, 베이즈-UCB 대비 최대 50%까지 누적 손실을 감소시킨다.
• KL 발산이 0.25를 초과할 경우에 특히 뚜렷한 손실 감소가 관찰되며, 이는 더 쉽게 구분 가능한 밴딧 문제에서 학습 향상이 이루어졌음을 시사한다.
• 이 방법은 사후 불확실성에 기반해 후보 샘플 수를 조정함으로써 탐색과 이용을 자동으로 균형 잡으며, 수동 조정이 필요 없음을 보여준다.
• 성능 향상은 복잡도가 높은 환경에서 가장 두드러지며, 불확실성 기반 샘플링이 더 정보 기반 의사결정을 가능하게 한다.
• 베이즈-UCB는 베르누이 밴딧 경계에서 유도된 고정된 분위수 값($\alpha_t = 1/t$)에 의존하기 때문에 맥락적 가우시안 경우에서 성능이 열 劣한다.
• 이 방법은 다양한 파라미터 설정, 즉 보상 분산($\sigma \in [0.1, 1]$)과 암 평균 갭($0.1$)의 변화에도 강건하며, 광범위한 적용 가능성을 보여준다.