[논문 리뷰] Accelerating Approximate Thompson Sampling with Underdamped Langevin Monte Carlo

Haoyang Zheng, Wei Deng외 2명|arXiv (Cornell University)|2024. 01. 22.

Advanced Bandit Algorithms ResearchDecision Sciences인용 수 3

한 줄 요약

이 논문은 고차원 밴딧 문제에서 표본 복잡도와 리그레트 성능을 향상시키기 위해 약간의 랑주르 몬테카를로(ULMC)를 사용한 가속화된 근사 톰슨 샘플링 알고리즘을 제안한다. 샘플링 과정에서 운동량을 활용하고, 확률적 미분 방정식을 통해 사후 분포 집중을 분석함으로써, 표본 복잡도를 𝒪̃(d)에서 𝒪̃(√d)로 감소시켜, 확장성과 강인성을 유지하면서도 개선된 리그레트 경계를 달성한다. 고차원 밴딧 문제에서의 실험 결과는 이론적 성과를 뒷받침한다.

ABSTRACT

Approximate Thompson sampling with Langevin Monte Carlo broadens its reach from Gaussian posterior sampling to encompass more general smooth posteriors. However, it still encounters scalability issues in high-dimensional problems when demanding high accuracy. To address this, we propose an approximate Thompson sampling strategy, utilizing underdamped Langevin Monte Carlo, where the latter is the go-to workhorse for simulations of high-dimensional posteriors. Based on the standard smoothness and log-concavity conditions, we study the accelerated posterior concentration and sampling using a specific potential function. This design improves the sample complexity for realizing logarithmic regrets from $\mathcal{ ilde O}(d)$ to $\mathcal{ ilde O}(\sqrt{d})$. The scalability and robustness of our algorithm are also empirically validated through synthetic experiments in high-dimensional bandit problems.

연구 동기 및 목표

• 고차원 사후 분포에 대한 근사 톰슨 샘플링의 확장성 문제를 해결하기 위해.
• 비정규 사후 분포를 가진 다수의 손잡이 밴딧 문제에서 표본 복잡도와 리그레트 성능을 향상시키기 위해.
• 더 효율적인 사후 샘플링을 위해 약간의 랑주르 몬테카를로(ULMC)를 톰슨 샘플링에 통합하기 위해.
• 특정 포텐셜 함수를 고려한 SDE 궤적의 맥락에서 사후 집중 속도를 이론적으로 분석하기 위해.
• 제안된 방법의 강인성과 효과성을 고차원 합성 밴딧 설정 전반에서 실증적으로 검증하기 위해.

제안 방법

• 고차원 사후 분포를 운동량을 갖는 방식으로 시뮬레이션하기 위해 샘플링 엔진으로 약간의 랑주르 몬테카를로(ULMC)를 사용한다.
• 특정 포텐셜 함수를 가진 확률적 미분 방정식(SDE)의 불변 분포로 사후 분포를 모델링한다.
• 표준 연속성 및 로그-볼록성 조건 하에서 SDE 궤적을 분석하여 사후 집중 속도를 유도한다.
• 탐색을 가속화하고 고차원 공간에서 혼합 성능을 향상시키기 위해 운동량 기반 역학을 도입한다.
• 샘플링 과정에서 근사 오차를 제어하기 위해 기울기 추정 오차에 대한 서브-가우시안 농도 바ounds를 활용한다.
• 샘플된 점과 진짜 사후 모드 사이의 거리의 모멘트 생성 함수에 대한 이론적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 약간의 랑주르 몬테카를로(ULMC)는 고차원 환경에서 근사 톰슨 샘플링의 표본 복잡도를 줄일 수 있는가?
• RQ2 랑주르 역학에 운동량을 포함시키면 사후 집중과 리그레트 성능에 어떤 영향을 미치는가?
• RQ3 ULMC 기반 톰슨 샘플링을 사용할 때 로그 리그레트를 달성하기 위해 필요한 이론적 표본 복잡도는 얼마인가?
• RQ4 표본 복잡도를 𝒪̃(d)에서 𝒪̃(√d)로 감소시킨 것이 실제로 더 나은 리그레트 성능으로 이어지는가?
• RQ5 합성 밴딧 실험에서 다양한 차원과 하이퍼파라미터 설정에 대해 제안된 방법은 얼마나 강인한가?

주요 결과

• 제안된 ULMC 기반 근사 톰슨 샘플링은 로그 리그레트를 달성하기 위한 표본 복잡도를 𝒪̃(d)에서 𝒪̃(√d)로 감소시킨다.
• 이론적 분석 결과, ULMC의 운동량은 표준 연속성 및 로그-볼록성 조건 하에서 사후 집중 속도를 향상시킨다.
• 실증 결과는 동일한 표본 복잡도 제약 조건 하에서 개선된 리그레트 성능을 보여주며, 이론적 성과를 검증한다.
• 이 방법은 최대 1000차원에 이르는 고차원 합성 밴딧 문제에서도 강인성과 확장성을 유지한다.
• 샘플링 오차의 모멘트 생성 함수가 유계임을 입증하여 알고리즘의 안정성과 수렴성을 뒷받침한다.
• 이 연구는 표본 복잡도 감소가 실제로 톰슨 샘플링에서 더 나은 리그레트 성능으로 이어지는 것을 처음으로 실증적으로 검증한다.