[論文レビュー] Accelerating Approximate Thompson Sampling with Underdamped Langevin Monte Carlo

Haoyang Zheng, Wei Deng+2 more|arXiv (Cornell University)|Jan 22, 2024

Advanced Bandit Algorithms ResearchDecision Sciences被引用数 3

ひとこと要約

本稿では、高次元バンディット問題におけるサンプル複雑性とレグルート性能の向上を目的として、非定常ラングジュアン・モンテカルロ（ULMC）を用いた高速化された近似トマソンサンプリングアルゴリズムを提案する。サンプリングプロセスにおける運動量の活用と、確率微分方程式（SDE）を用いた事後分布の集中解析により、サンプル複雑性を 𝒪̃(d) から 𝒪̃(√d) に低減し、スケーラビリティと頑健性を維持したまま、より良好なレグルートバウンドを達成する。

ABSTRACT

Approximate Thompson sampling with Langevin Monte Carlo broadens its reach from Gaussian posterior sampling to encompass more general smooth posteriors. However, it still encounters scalability issues in high-dimensional problems when demanding high accuracy. To address this, we propose an approximate Thompson sampling strategy, utilizing underdamped Langevin Monte Carlo, where the latter is the go-to workhorse for simulations of high-dimensional posteriors. Based on the standard smoothness and log-concavity conditions, we study the accelerated posterior concentration and sampling using a specific potential function. This design improves the sample complexity for realizing logarithmic regrets from $\mathcal{ ilde O}(d)$ to $\mathcal{ ilde O}(\sqrt{d})$. The scalability and robustness of our algorithm are also empirically validated through synthetic experiments in high-dimensional bandit problems.

研究の動機と目的

• 高次元事後分布における近似トマソンサンプリングのスケーラビリティの問題に対処すること。
• 非ガウス事後分布を伴うマルチアームバンディット問題におけるサンプル複雑性とレグルート性能の向上。
• より効率的な事後分布サンプリングのため、非定常ラングジュアン・モンテカルロ（ULMC）をトマソンサンプリングに統合すること。
• SDE軌道の文脈において、特定のポテンシャル関数を用いた事後分布の集中レートの理論的解析。
• 高次元合成バンディット設定における、提案手法の頑健性と有効性の経験的妥当性の検証。

提案手法

• 高次元事後分布をモーメントを伴う動的サンプリングでシミュレートするために、非定常ラングジュアン・モンテカルロ（ULMC）をサンプリングエンジンとして使用する。
• 特定のポテンシャル関数を用いた確率微分方程式（SDE）の不変分布として事後分布をモデル化する。
• 標準的な滑らかさおよび対数凸性の仮定の下でSDE軌道を分析し、事後分布の集中レートを導出する。
• 探索の加速と高次元空間における混合性能の向上を図る、モーメントに基づくダイナミクスを導入する。
• 勾配推定誤差のサブガウス型集中バウンドを用いて、サンプリングプロセスにおける近似誤差を制御する。
• サンプル点と真の事後分布モードとの距離のモーメント生成関数に対する理論的バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 非定常ラングジュアン・モンテカルロ（ULMC）は、高次元設定における近似トマソンサンプリングのサンプル複雑性を低減できるか？
• RQ2 ラングジュアンダイナミクスにモーメントを組み込むことで、事後分布の集中とレグルート性能にどのような影響を与えるか？
• RQ3 ULMCに基づくトマソンサンプリングを用いて、対数的レグルートを達成するための理論的サンプル複雑性はどの程度か？
• RQ4 サンプル複雑性を 𝒪̃(d) から 𝒪̃(√d) に低減することで、実際のレグルート性能が向上するか？
• RQ5 合成バンディット実験において、さまざまな次元数とハイパーパramータ設定に対して、提案手法はどの程度頑健か？

主な発見

• 提案されたULMCベースの近似トマソンサンプリングにより、対数的レグルートを達成するためのサンプル複雑性が、𝒪̃(d) から 𝒪̃(√d) に低減された。
• 理論的解析により、ULMCにおけるモーメントが、標準的な滑らかさおよび対数凸性の条件下で、事後分布の集中レートを向上させることを示した。
• 経験的結果により、同じサンプル複雑性制約下でも、より良好なレグルート性能が得られ、理論的利点が妥当であることが確認された。
• 1000次元に達する高次元合成バンディット問題においても、本手法は頑健性とスケーラビリティを維持した。
• サンプリング誤差のモーメント生成関数が有界であることが示され、アルゴリズムの安定性と収束性が裏付けられた。
• 本研究は、低減されたサンプル複雑性が直接的にレグルート性能の向上に繋がることを、初めて経験的に検証した。