[論文レビュー] Meta-Thompson Sampling

Branislav Kveton, Mikhail Konobeev+5 more|arXiv (Cornell University)|Feb 11, 2021

Advanced Bandit Algorithms Research参考文献 32被引用数 4

ひとこと要約

本稿では、複数のバンディットタスクとの相互作用を通じて、インスタンスの事前分布のメタ後確率を維持することにより、未知の事前分布に適応するメタラーニング手法であるメタ・トンプソンサンプリング（MetaTS）を提案する。理論的保証と実験的検証により、真の事前分布を時間とともに学習することで、ベイズレグレットが向上し、事前分布が既知である場合のトンプソンサンプリングと同等の性能を示す。

ABSTRACT

Efficient exploration in bandits is a fundamental online learning problem. We propose a variant of Thompson sampling that learns to explore better as it interacts with bandit instances drawn from an unknown prior. The algorithm meta-learns the prior and thus we call it MetaTS. We propose several efficient implementations of MetaTS and analyze it in Gaussian bandits. Our analysis shows the benefit of meta-learning and is of a broader interest, because we derive a novel prior-dependent Bayes regret bound for Thompson sampling. Our theory is complemented by empirical evaluation, which shows that MetaTS quickly adapts to the unknown prior.

研究の動機と目的

• アーム平均の真の事前分布が未知であるが、既知のメタ事前分布から抽出されるとする状況において、トンプソンサンプリングを設計する課題に取り組むこと。
• 複数のバンディットタスクにおいて、実現された事前分布に適応する探索戦略を計算的に効率的に学習するメタラーニングアルゴリズムを開発すること。
• トンプソンサンプリングの理論的解析を拡張し、新たな事前分布依存のベイズレグレットバウンドを提供すること。
• 実験的に、MetaTSが未知の事前分布に迅速に適応し、事前分布が既知である場合のTSと同等の性能を達成することを示すこと。

提案手法

• MetaTSは、各タスク s において、未知のインスタンス事前分布 P_* のメタ後確率 Q_s を維持し、過去のタスクの観測履歴に基づいてそれを更新する。
• 各タスク s において、MetaTSは Q_s から候補事前分布 P_s ∼ Q_s をサンプリングし、n ラウンドにわたり標準的なトンプソンサンプリングを実行する。
• 効率的な後確率更新を可能にするために、共役事前分布（例：ガウス分布）を用い、ガウスバンディットにおけるメタ後確率の閉形式更新を活用する。
• MetaTSはベルヌーイおよびガウスバンディットの両方で効率的に実装されており、観測された報酬とアームの選択に基づく更新が行われる。
• 理論的分析により、1タスクあたり1回のアームプルのみを用いても、P_* への適応による改善が示されるベイズレグレットの上限が得られる。
• 本手法は線形バンディットへ一般化可能であり、付録Dに示されるように、線形バンディットにおける閉形式のメタ後確率更新が可能である。

実験結果

リサーチクエスチョン

• RQ1 複数のバンディットインスタンスとの相互作用を通じてメタラーニングにより未知の事前分布を学習することで、トンプソンサンプリングを改善できるか？
• RQ2 MetaTSは、真の事前分布が既知である場合のトンプソンサンプリングと同等のベイズレグレットを達成できるか？
• RQ3 メタラーニングによる理論的利点は、トンプソンサンプリングの事前分布依存のレグレットバウンドにおいてどのように現れるか？
• RQ4 メタ事前分布の誤指定に対して、MetaTSはどれほど頑健か？
• RQ5 MetaTSは、高次元または多数のアームを有する問題にスケーリング可能であり、性能を維持できるか？

主な発見

• MetaTSは、メタラーニングを通じてベイズレグレットが向上し、1タスクあたり1回のアームプルのみに依存する保守的な解析でも同様の改善が得られる。
• 実験的結果から、MetaTSは未知の事前分布 P_* に迅速に適応し、事前分布が既知である場合のトンプソンサンプリングと同等の性能を達成することが示された。
• アーム数 K や次元 d が増加しても、レグレットの改善は維持されるが、事前分布の幅 σ₀ がメタ事前分布の幅 σ_q に近づくとその改善は薄れる。
• MetaTSはメタ事前分布の誤指定に対しても頑健であり、実験ではわずかな性能低下しか観測されなかった。
• 本稿では、トンプソンサンプリングのベイズレグレットに対する新たな事前分布依存の上界が導出され、理論的にも広範な関心を引く。
• ガウスノイズを伴う線形バンディットにおけるメタ後確率の更新は閉形式で与えられ、文脈バンディットへの潜在的な拡張が可能である。