[論文レビュー] Scalable Thompson Sampling using Sparse Gaussian Process Models

Sattar Vakili, Henry B. Moss+3 more|Lancaster EPrints (Lancaster University)|Jun 9, 2020

Advanced Bandit Algorithms Research参考文献 72被引用数 4

ひとこと要約

本稿では、スパースなガウス過程（S-GP-TS）を用いたスケーラブルなトンプソンサンプリングを提案し、大規模な予算における効率的なバッチベイズ最適化を可能にしている。スパースな変分推論と分離サンプリングを活用することで、計算量の削減を達成しつつも、レグレット性能に妥協を生じさせず、近似条件の下で正確なGP-TSの理論的保証を再現している。

ABSTRACT

Thompson Sampling (TS) from Gaussian Process (GP) models is a powerful tool for the optimization of black-box functions. Although TS enjoys strong theoretical guarantees and convincing empirical performance, it incurs a large computational overhead that scales polynomially with the optimization budget. Recently, scalable TS methods based on sparse GP models have been proposed to increase the scope of TS, enabling its application to problems that are sufficiently multi-modal, noisy or combinatorial to require more than a few hundred evaluations to be solved. However, the approximation error introduced by sparse GPs invalidates all existing regret bounds. In this work, we perform a theoretical and empirical analysis of scalable TS. We provide theoretical guarantees and show that the drastic reduction in computational complexity of scalable TS can be enjoyed without loss in the regret performance over the standard TS. These conceptual claims are validated for practical implementations of scalable TS on synthetic benchmarks and as part of a real-world high-throughput molecular design task.

研究の動機と目的

• ガウス過程を用いた標準的なトンプソンサンプリングの計算コストが観測数に比例して立方的に増加することへの対処。
• ノイズが強く、多峰性または組み合わせ的なタスクなど、数百～数千回の評価を要する問題における大バッチベイズ最適化の実現。
• 特定の事後分布近似条件の下で、スケーラブルなGP-TSが正確なGP-TSと同等のレグレットのオーダーを維持することを理論的に裏付ける。
• 合成ベンチマークおよび実世界の高スループット分子設計タスクにおける実験的検証。
• スパースなGP近似と分離サンプリングが、近似品質が十分に高い場合に限り、レグレット性能を劣化させないことを示す。

提案手法

• 低ランク構造を用いて全GP事後分布を近似するスパース変分ガウス過程（SVGP）を採用し、計算コストをO(t³)からO(m²t)に削減（m ≪ tは誘導変数の数）。
• 分離サンプリングを適用：トンプソンサンプルを固定された事前分布成分（M個の特徴に基づく）とモデル更新に分解し、サンプリングの計算量をO((m+M)N)に削減。
• 近似GP-TSが正確なGP-TSと同等のレグレットオーダーを達成するための理論的条件（仮定3および仮定4）を導入。
• 先行研究のスペクトルバインドを活用し、低レグレットを保証するための誘導変数数および事前特徴数の要件を導出。
• K-meansおよびグリーディな分散ベースの誘導点選択法を実装し、性能への影響を比較。
• モデル学習にはADAM最適化を用い、早期停止および学習率スケジューリングを適用。比較においてGIBBONをベースラインの獲得関数として採用。

実験結果

リサーチクエスチョン

• RQ1 スパースなガウス過程を用いたトンプソンサンプリングが、制御された近似誤差のもとで、正確なGP-TSと同等のレグレットオーダーを維持できるか。
• RQ2 スケーラブルなTSにおけるレグレット性能を維持するための、事後分布近似品質に必要な条件は何か。
• RQ3 異なる誘導点選択戦略（K-means対グリーディな分散ベース）が、高次元・ノイズ多め・多峰性のある関数におけるS-GP-TSの性能に与える影響は。
• RQ4 S-GP-TSは、レグレットおよびイテレーション効率の観点から、既存のバッチベイズ最適化手法をどの程度上回れるか。
• RQ5 S-GP-TSは、大規模な最適化予算を要する実世界の高スループット分子設計タスクに、効果的にスケーリングできるか。

主な発見

• S-GP-TSは、事後分布近似が特定の理論的条件（仮定3および仮定4）を満たす場合、正確なGP-TSと同等のレグレット性能を達成する。
• ノイズが強い（分散0.5）5次元のアケリー関数において、B=100のS-GP-TSは順次ベースラインを上回り、少ないイテレーションで低いレグレットを達成する。
• ノイズのあるハーツマン関数（6次元）において、B=100のS-GP-TSはqEIやLP-EIといったB=25に制限されたバッチ手法を下回る低いレグレットを達成する。
• 高探索性の設定（例：アケリー関数）では、グリーディな分散ベースの誘導点選択がK-meansをわずかに上回り、複雑なランドスケープへの利点を示唆する。
• 理想的な並列設定（BOイテレーション数で測定）において、S-GP-TSは標準的なBOルーチンが要するイテレーションの数分のの一程度で低レグレットに到達する。
• 本手法は、実世界の高スループット分子設計タスクに効果的にスケーリングでき、合成ベンチマークを越えた実用的妥当性を示した。