[論文レビュー] Thompson Sampling with Approximate Inference

My V. T. Phan, Yasin Abbasi-Yadkori+1 more|arXiv (Cornell University)|Aug 14, 2019

Advanced Bandit Algorithms Research参考文献 17被引用数 9

ひとこと要約

本稿は、k-腕バンディットにおける近似推論を用いたトマソンサンプリングを分析し、α-発散における小さな定数誤差が、探索不足または過剰探索によって線形のリグレットを引き起こすことを示している。強制的探索を導入することで、特にα ≤ 0の場合に、大きな推論誤差が存在してもサブ線形リグレットを回復可能である。理論的およびシミュレーションによる検証を通じて、アンサンブルサンプリングと変分推論の応用が確認されている。

ABSTRACT

We study the effects of approximate inference on the performance of Thompson sampling in the $k$-armed bandit problems. Thompson sampling is a successful algorithm for online decision-making but requires posterior inference, which often must be approximated in practice. We show that even small constant inference error (in $α$-divergence) can lead to poor performance (linear regret) due to under-exploration (for $α<1$) or over-exploration (for $α>0$) by the approximation. While for $α> 0$ this is unavoidable, for $α\leq 0$ the regret can be improved by adding a small amount of forced exploration even when the inference error is a large constant.

研究の動機と目的

• k-腕バンディット問題におけるトマソンサンプリングの性能に及ぼす近似事後分布推論の影響を調査すること。
• 推論誤差が小さい場合に、探索不足または過剰探索によって線形リグレットが生じる条件を同定すること。
• 推論誤差が大きい場合にサブ線形リグレットを回復するための強制的探索機構を提案・分析すること。
• アンサンブルサンプリングおよび変分推論における理論的分析とシミュレーションを通じて、理論的結果を検証すること。

提案手法

• 真の事後分布Πtと近似事後分布Qtの間の推論誤差を一般化された指標としてα-発散を用いる。
• 頻度的およびベイジアン設定の両方でリグレットを分析し、α < 1の探索不足とα > 0の過剰探索を区別する。
• 一様サンプリングをランダムな間隔で実行する強制的探索戦略を導入し、事後分布の集中とサブ線形リグレットを保証する。
• アンサンブルサンプリングや平均場変分推論といった既存のアルゴリズムにこの手法を適用し、改善されたリグレットバウンドを示す。
• KL発散の理論的バウンドと事後分布の集中性を用いて、強制的探索下でのサブ線形リグレットを証明する。
• 正規事前分布と尤度関数を用いたシミュレーションを通じて、正確なトマソンサンプリング、近似推論、強制的探索のバリエーションを比較する。

実験結果

リサーチクエスチョン

• RQ1 真の事後分布と近似事後分布の間のα-発散における小さな定数誤差が、トマソンサンプリングにおいて線形リグレットを引き起こす可能性があるか？
• RQ2 推論誤差による過剰探索（α > 0）または探索不足（α < 1）が、k-腕バンディット設定で線形リグレットを引き起こすか？
• RQ3 推論誤差が大きい場合に、特にα ≤ 0の場合に強制的探索がサブ線形リグレットを回復可能か？
• RQ4 アンサンブルサンプリングや変分推論といった近似推論手法の性能は、強制的探索によってどのように変化するか？
• RQ5 近似推論下で事後分布の集中性とサブ線形リグレットを保証する理論的条件は何か？

主な発見

• α-発散における小さな定数誤差は、事前分布に依存せず、持続的な探索不足または過剰探索の結果、トマソンサンプリングで線形リグレットを引き起こす可能性がある。
• α > 0の場合、線形リグレットは過剰探索に起因し、近似が最適な腕に集中しないために生じる。
• α < 1でかつやや穏やかな事前分布の条件下では、線形リグレットは探索不足に起因し、事後分布が真の最適な腕に集中しないために生じる。
• α ≤ 0の場合、強制的探索（一様サンプリング）を導入することで、事後分布の集中が回復され、大きな定数誤差が存在してもサブ線形リグレットが保証される。
• 理論的分析により、近似誤差がα-発散で有界であり、かつ強制的探索が適用されている場合、リグレットはTに関してサブ線形になることが示された。
• シミュレーションと理論的分析の両方で、強制的探索がアンサンブルサンプリングおよび平均場変分推論の性能を向上させ、O(log T)のモデル数でサブ線形リグレットを達成することが確認された。