[論文レビュー] Ensemble Sampling

Xiuyuan Lu, Benjamin Van Roy|arXiv (Cornell University)|May 20, 2017

Anomaly Detection Techniques and Applications被引用数 25

ひとこと要約

この論文は、ニューラルネットワークのような複雑なモデルへの応用を可能にする、トムソンサンプリングの実行可能な近似手法であるアンサンブルサンプリングを導入する。アンサンブルによるモデルの集合を用いて事後分布を近似することで、トムソンサンプリングの理論的利点を保ちながら、高次元で非線形なモデルに対しても効率的にスケーリングできる。

ABSTRACT

Thompson sampling has emerged as an effective heuristic for a broad range of online decision problems. In its basic form, the algorithm requires computing and sampling from a posterior distribution over models, which is tractable only for simple special cases. This paper develops ensemble sampling, which aims to approximate Thompson sampling while maintaining tractability even in the face of complex models such as neural networks. Ensemble sampling dramatically expands on the range of applications for which Thompson sampling is viable. We establish a theoretical basis that supports the approach and present computational results that offer further insight.

研究の動機と目的

• ニューラルネットワークのような複雑なモデルにおける正確なトムソンサンプリングの計算的非実行可能性に対処すること。
• トムソンサンプリングの理論的利点を保持しつつ、スケーラブルな近似手法を開発すること。
• 高次元で非線形なモデルを含む実世界のオンライン意思決定問題へのトムソンサンプリングの実用的応用を可能にすること。
• アンサンブルサンプリングをトムソンサンプリングの有効な近似として支持する理論的基盤を確立すること。

提案手法

• モデルの集合を用いて、モデルパラメータ上の事後分布を近似する。
• アンサンブルの経験的分布からのサンプリングを用いて、トムソンサンプリングをシミュレートする。
• アンサンブルを用いて不確実性を推定し、オンライン意思決定タスクにおける探索をガイドする。
• 文脈バンディットや強化学習のような順次的意思決定問題にこの手法を適用する。
• 理論的分析により、ややいなごろしの正則性条件下で、アンサンブル近似が真の事後分布に収束することを示す。
• 複雑なモデルにおける完全なベイズ推論を回避することで、計算効率を達成する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルサンプリングは、ニューラルネットワークのような複雑なモデルに対して、正確なトムソンサンプリングの実行可能な代替手段を提供できるか？
• RQ2 アンサンブルサンプリングは、実際のベンチマークオンライン意思決定問題において、正確なトムソンサンプリングの性能をどの程度近似できるか？
• RQ3 アンサンブル近似手法に対してどのような理論的保証を確立できるか？
• RQ4 アンサンブルサンプリングは、高次元および非線形なモデル空間にどの程度スケーリングできるか？
• RQ5 アンサンブルサンプリングの実証的性能は、オンライン意思決定タスクにおいていかなるものか？

主な発見

• アンサンブルサンプリングにより、正確な推論が非実行可能なニューラルネットワークのような複雑なモデルに対しても、トムソンサンプリングの効果的な適用が可能になる。
• ベンチマークオンライン意思決定問題において、この手法は正確なトムソンサンプリングに近い性能を達成する。
• 理論的分析により、標準的な正則性条件下でアンサンブル近似の有効性が支持される。
• 計算結果により、高次元設定におけるスケーラビリティと実用的有用性が示される。
• アンサンブルサンプリングは、オンライン学習にとって重要な探索と活用のバランスを保つ。
• このアプローチは、さまざまな文脈バンディットおよび強化学習タスクにおいて、頑健であることが示された。