[논문 리뷰] On Thompson Sampling with Langevin Algorithms

Eric Mazumdar, Aldo Pacchiano외 3명|arXiv (Cornell University)|2020. 02. 23.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 6

한 줄 요약

이 논문은 다수의 손잡이 밴디트 문제에 대해 후행 확률 샘플을 근사하기 위해 랭지에빈 기반 마르코프 체인 몬테 카를로(MCMC) 방법을 사용하는 계산적으로 효율적인 톰슨 샘플링의 변종을 제안한다. 후행 확률 집중성과 샘플 재사용을 활용하여, 각 라운드당 일정한 계산 비용으로 로그 수준의 리그레트를 달성하며, 시간 수평선에 따라 확장되지 않는 최적의 사례별 빈도주의 리그레트를 보장한다.

ABSTRACT

Thompson sampling for multi-armed bandit problems is known to enjoy favorable performance in both theory and practice. However, it suffers from a significant limitation computationally, arising from the need for samples from posterior distributions at every iteration. We propose two Markov Chain Monte Carlo (MCMC) methods tailored to Thompson sampling to address this issue. We construct quickly converging Langevin algorithms to generate approximate samples that have accuracy guarantees, and we leverage novel posterior concentration rates to analyze the regret of the resulting approximate Thompson sampling algorithm. Further, we specify the necessary hyperparameters for the MCMC procedure to guarantee optimal instance-dependent frequentist regret while having low computational complexity. In particular, our algorithms take advantage of both posterior concentration and a sample reuse mechanism to ensure that only a constant number of iterations and a constant amount of data is needed in each round. The resulting approximate Thompson sampling algorithm has logarithmic regret and its computational complexity does not scale with the time horizon of the algorithm.

연구 동기 및 목표

• 정확한 톰슨 샘플링의 계산적 한계를 해결하기 위해, 각 반복에서 비용이 많이 드는 후행 확률 샘플링이 필요로 하는 문제를 다루기 위해.
• 계산 오버헤드를 줄이면서도 최적의 리그레트 보장을 유지하는 근사 샘플링 방법을 개발하기 위해.
• 근사 후행 확률 샘플을 사용하더라도 리그레트가 로그 수준이면서 사례별 최적임을 보장하기 위해.
• 시간 수평선에 따라 계산 복잡도가 증가하지 않는 '언제나' 알고리즘을 설계하기 위해.
• 최적 성능을 보장하는 랭지에빈 알고리즘의 명시적 하이퍼파rameter 선택을 제공하기 위해.

제안 방법

• 이전 라운드의 근사 샘플에서 초기화된 비조정 랭지에빈 알고리즘(ULA)을 사용하여 후행 확률 집중성을 활용한다.
• 라운드당 일정한 반복 수와 스트로스틱 그래디언트 랭지에빈 동역학(SGLD)에서 일정한 배치 크기를 사용하여 낮은 계산 비용을 확보한다.
• 새로운 후행 확률 집중 속도를 도입하여 근사 오차를 제한하고 리그레트 보장을 유지한다.
• 라운드당 필요한 MCMC 반복 수를 일정하게 줄이기 위해 샘플 재사용 메커니즘을 도입한다.
• ULA와 SGLD에서 최적의 리그레트를 달성하기 위한 명시적 하이퍼파ram터(스텝 크기, 반복 수)를 유도한다.
• 일반적인 로그-컨벡스 밀도와 약한 정보를 갖는 사전 하에 리그레트를 분석하며, 차원, 분산, 사전 품질에 대한 명시적 의존성을 포함한다.

실험 결과

연구 질문

• RQ1 랭지에빈 기반 MCMC 방법을 사용하여 톰슨 샘플링에서 후행 확률 샘플을 근사하면서도 최적의 리그레트를 유지할 수 있는가?
• RQ2 ULA와 SGLD에서 로그 수준의 리그레트를 유지하기 위해 필요한 하이퍼파ram터와 반복 수는 무엇인가?
• RQ3 후행 확률 집중성이 라운드당 일정한 수의 MCMC 단계를 가능하게 하는가?
• RQ4 근사 톰슨 샘플링의 계산 비용을 시간 수평선에 독립적으로 만들 수 있는가?
• RQ5 후행 확률 샘플링의 근사 오차와 그로 인한 리그레트 간의 관계는 무엇인가?

주요 결과

• 제안된 근사 톰슨 샘플링 알고리즘은 차원, 분산, 사전 품질에 따라 명시적인 상수를 포함한 로그 수준의 리그레트를 달성한다.
• 적절한 하이퍼파ram터 튜닝을 통해 ULA와 SGLD는 라운드당 일정한 수의 MCMC 단계만으로도 사례별 최적의 리그레트를 유지한다.
• 리그레트 경계는 $\mathcal{O}(\log T)$로 스케일되며, $d_a$, $\kappa_a$, 및 $\Delta_a$에 대한 명시적 의존성이 있으며, 기존의 하한값과 일치한다.
• 이 알고리즘의 계산 복잡도는 시간 수평선 $T$에 따라 증가하지 않아, anytime 알고리즘이다.
• 수치 실험을 통해 랭지에빈 방법을 사용한 근사 톰슨 샘플링이 다양한 사전 설정에서 정확한 톰슨 샘플링과 UCB의 성능을 그대로 재현함을 확인하였다.
• 이 방법은 악성 사전 조건에서도 강력한 경험적 안정성을 보이며, 강인함을 입증하였다.