[논문 리뷰] Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling

Carlos Riquelme, George Tucker외 1명|arXiv (Cornell University)|2018. 02. 25.

Advanced Bandit Algorithms Research인용 수 46

한 줄 요약

이 논문은 contextual bandits에서 Thompson Sampling을 위한 광범위한 근사 Bayesian 신경망 방법들을 벤치마크하고, 서로 다른 posterior 근사가 온라인 의사결정에 어떤 영향을 미치는지 강조합니다. 일부 방법들이 순차적 설정에서 성능이 낮은 반면, 학습 위에 간단한 Bayesian-linear 방법들이 강건하고 조정하기 쉬울 수 있음을 발견합니다.

ABSTRACT

Recent advances in deep reinforcement learning have made significant strides in performance on applications such as Go and Atari games. However, developing practical methods to balance exploration and exploitation in complex domains remains largely unsolved. Thompson Sampling and its extension to reinforcement learning provide an elegant approach to exploration that only requires access to posterior samples of the model. At the same time, advances in approximate Bayesian methods have made posterior approximation for flexible neural network models practical. Thus, it is attractive to consider approximate Bayesian neural networks in a Thompson Sampling framework. To understand the impact of using an approximate posterior on Thompson Sampling, we benchmark well-established and recently developed methods for approximate posterior sampling combined with Thompson Sampling over a series of contextual bandit problems. We found that many approaches that have been successful in the supervised learning setting underperformed in the sequential decision-making scenario. In particular, we highlight the challenge of adapting slowly converging uncertainty estimates to the online setting.

연구 동기 및 목표

• 깊은 순차 의사결정에서 탐색-활용 동기를 부여하고, 근사 포스트리어가 contextual bandits에서 Thompson Sampling에 미치는 영향을 정량화한다.
• Thompson Sampling를 위한 변분적, EP, dropout, bootstrap, 잡음 주입, GP 등 베이지안 딥러닝 방법의 포괄적 벤치마크를 제공한다.
• 온라인 의사결정 효율성과 불확실성 추정의 정확도 사이의 균형을 이루는 실용적인 알고리즘을 식별한다.
• 온라인 제약 하에서 어떤 포스트리어 근사들이 확장 가능하고 성능을 발휘하는지에 대한 지침을 제공한다.

제안 방법

• 다양한 포스터리어 근사 계열로 Thompson Sampling을 구현한다( 베이지안 선형 회귀, 대각 vs 전체 공분산, Neural Linear, Neural Greedy, Variational Inference, Expectation-Propagation, Dropout, Monte Carlo 방법, Bootstrap, Direct Noise Injection, Gaussian Processes ).
• 맥락-대상 보상을 모델링하기 위해 공유된 두 개의 은닉층 아키텍처를 가진 신경망을 사용하고, 행동별로 출력을 가진다.
• 온라인 의사결정 제약을 반영하기 위해 업데이트 주기와 미니배치 크기 등을 포함한 온라인 업데이트 및 학습 일정 비교.
• 합성 및 실제 맥락 밴딧 문제에서 다중 데이터셋(예: Mushroom, Statlog, Covertype, Financial, Jester, Adult, Census, Song)을 사용하여 평가한다.
• 무작위로 재배열된 시도들에 걸쳐 누적 후회와 간단한 후회를 보고하여 불확실성 추정의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 맥락 밴딧에서 Bayesian 신경망의 서로 다른 근사 포스트리어 방법들이 Thompson Sampling 성능에 어떻게 영향을 미치는가?
• RQ2 온라인에서 확장 가능하고 순차적 의사결정을 위한 강건한 불확실성 추정을 제공하는 포스트리어 근사 전략은 무엇인가?
• RQ3 학습된 표현 위에 있는 베이지안 선형 회귀와 같은 더 간단한 접근법이 온라인 밴딧 환경에서 더 복잡한 베이지안 신경망 근사보다 성능이 우수한가?
• RQ4 온라인 데이터 피드백 루프가 포스트리어 근사 품질과 후회 결과에 어떤 영향을 미치는가?

주요 결과

• Dropout, 간단한 잡음 주입, 부트스트래핑은 일부 작업에서 성능을 향상시킬 수 있지만, 도전적인 탐험 문제를 해결하지는 못할 수 있다.
• 다양한 복잡한 포스트리어 방법(Variational Inference, Black-box alpha-divergence, minibatch MCMC)은 표현 학습과 불확실성을 밀접하게 연결하여 온라인 의사결정에 지장을 줄 수 있다.
• 마지막 레이어 표현에 대한 베이지안 선형 회귀( Neural Linear )는 강건하고 조정하기 쉬운 불확실성과 여러 설정에서 강력한 기준 성능을 제공한다.
• 대각 공분산 근사는 고차원 문제에서 여러 차원을 넘나들며 과도한 탐험으로 인해 상당한 후회를 야기할 수 있으며, 더 표현력이 있는 근사는 이를 완화할 수 있다.
• 이 논문은 순차적 데이터 수집의 피드백 루프 때문에 포스트리어 품질이 항상 온라인 성능을 예측하는 것은 아님을 강조한다.
• 실제 데이터셋에 걸친 경험적 결과는 알고리즘 간 성능이 다양하고 한 가지 방법이 모든 문제를 지배하지 않음을 보여준다.