[論文レビュー] Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling

Carlos Riquelme, George Tucker+1 more|arXiv (Cornell University)|Feb 25, 2018

Advanced Bandit Algorithms Research被引用数 46

ひとこと要約

本論文は文脈バンディットにおける Thompson Sampling のための近似ベイズニューロンネットワーク手法の幅広い範囲をベンチマークし、異なる事後近似がオンラインの意思決定にどう影響するかを強調している。いくつかの手法は逐次的な設定で性能が低下する一方、上に線形回帰を乗せたより単純なベイズ的手法が頑健で調整しやすいことが判明した。

ABSTRACT

Recent advances in deep reinforcement learning have made significant strides in performance on applications such as Go and Atari games. However, developing practical methods to balance exploration and exploitation in complex domains remains largely unsolved. Thompson Sampling and its extension to reinforcement learning provide an elegant approach to exploration that only requires access to posterior samples of the model. At the same time, advances in approximate Bayesian methods have made posterior approximation for flexible neural network models practical. Thus, it is attractive to consider approximate Bayesian neural networks in a Thompson Sampling framework. To understand the impact of using an approximate posterior on Thompson Sampling, we benchmark well-established and recently developed methods for approximate posterior sampling combined with Thompson Sampling over a series of contextual bandit problems. We found that many approaches that have been successful in the supervised learning setting underperformed in the sequential decision-making scenario. In particular, we highlight the challenge of adapting slowly converging uncertainty estimates to the online setting.

研究の動機と目的

• 深層的逐次意思決定における探索と活用の動機づけを行い、近似後部が文脈バンディットにおける Thompson Sampling に与える影響を定量化する。
• 変分法、EP、ドロップアウト、ブートストラップ、ノイズ注入、Gaussian Processes を用いた Thompson Sampling の包括的ベンチマークを提供する。
• 不確実性推定の精度とオンライン決定の効率性のバランスを取る実用的なアルゴリズムを特定する。
• オンライン制約の下でどの後方近似がスケールし、性能を発揮するかについての指針を提供する。

提案手法

• 複数の後部近似ファミリーを用いた Thompson Sampling を実装する（ベイズ線形回帰、対角共分散 vs 全共分散、Neural Linear、Neural Greedy、変分推論、期待伝搬、ドロップアウト、モンテカルロ法、ブートストラップ、直接ノイズ注入、Gaussian Processes）。
• 文脈から行動への報酬をモデル化するために、共有の2つの隠れ層を持つアーキテクチャを用い、アクションごとの出力を持つ。
• オンライン更新とトレーニングスケジュール（更新頻度、ミニバッチサイズ）を比較し、オンラインの意思決定制約を反映させる。
• 合成データと実世界の文脈バンディット問題で、複数のデータセットを用いて評価する（例：Mushroom、Statlog、Covertype、Financial、Jester、Adult、Census、Song）。
• シャッフルされた試行全体で累積後悔と単純後悔を報告し、不確実性推定の頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 文脈バンディットにおけるベイジアンニューラルネットワークの様々な近似後部法は Thompson Sampling の性能にどのように影響するか？
• RQ2 どの後部近似戦略がオンラインでスケールし、逐次意思決定に対して頑健な不確実性推定を提供するか？
• RQ3 学習表現の上にベイズ線形回帰を適用する等のより単純な手法は、オンラインのバンディット設定でより複雑なベイズニューラルネットワーク近似より優れているか？
• RQ4 オンラインデータのフィードバックループは後部近似の品質と後悔の結果にどのように影響するか？

主な発見

• ドロップアウト、単純なノイズ注入、ブートストラップは一部のタスクで性能を向上させることがあるが、難しい探索問題を解決するとは限らない。
• 多くの複雑な後部法（変分推論、ブラックボックス α-ダイバージェンス、ミニバッチ MCMC）は表現学習と不確実性を密接に結びつけ、オンライン意思決定を妨げる可能性がある。
• 最終層表現上のベイズ線形回帰（Neural Linear）は頑健で調整しやすい不確実性を提供し、いくつかの設定で強力なベースライン性能を示す。
• 対角共分散近似は多次元問題で過度の探索を招くため顕著な後悔につながる可能性がある一方、より表現力のある近似はこれを緩和する可能性がある。
• 本論文は、逐次データ収集におけるフィードバックループのため、後部の品質がオンライン性能を必ずしも予測しないことを強調している。
• 実世界データセット全体の実証結果はアルゴリズム間で性能が異なり、すべての問題を支配する単一の手法はない。