[論文レビュー] Bayesian bandits: balancing the exploration-exploitation tradeoff via double sampling

Iñigo Urteaga, Chris H. Wiggins|arXiv (Cornell University)|Sep 10, 2017

Advanced Bandit Algorithms Research参考文献 10被引用数 6

ひとこと要約

本稿では、事後分布からのモンテカルロサンプリングを用いて十分統計量を推定することで、探索と活用のバランスを改善するベイジアンマルチアームバンディットのためのダブルサンプリング手法を提案する。不確実性に基づいて自動的にサンプリングを調整することで、文脈付きガウスバンディット設定において、チューリングのサンプリングやベイズ-UCBと比較して累積リグレットを最大50%まで低減するが、手動によるハイパーパrameterチューニングを必要としない。

ABSTRACT

Reinforcement learning studies how to balance exploration and exploitation in real-world systems, optimizing interactions with the world while simultaneously learning how the world operates. One general class of algorithms for such learning is the multi-armed bandit setting. Randomized probability matching, based upon the Thompson sampling approach introduced in the 1930s, has recently been shown to perform well and to enjoy provable optimality properties. It permits generative, interpretable modeling in a Bayesian setting, where prior knowledge is incorporated, and the computed posteriors naturally capture the full state of knowledge. In this work, we harness the information contained in the Bayesian posterior and estimate its sufficient statistics via sampling. In several application domains, for example in health and medicine, each interaction with the world can be expensive and invasive, whereas drawing samples from the model is relatively inexpensive. Exploiting this viewpoint, we develop a double sampling technique driven by the uncertainty in the learning process: it favors exploitation when certain about the properties of each arm, exploring otherwise. The proposed algorithm does not make any distributional assumption and it is applicable to complex reward distributions, as long as Bayesian posterior updates are computable. Utilizing the estimated posterior sufficient statistics, double sampling autonomously balances the exploration-exploitation tradeoff to make better informed decisions. We empirically show its reduced cumulative regret when compared to state-of-the-art alternatives in representative bandit settings.

研究の動機と目的

• 強い分布仮定を必要としないベイジアンフレームワークを用いて、マルチアームバンディット問題における探索と活用のトレードオフを解消すること。
• 実世界の高コストまたは侵襲的な応用において、コストが低いモデルサンプリングを用いて意思決定を改善すること。
• 事後分布の不確実性に基づいて、探索と活用を自動的にバランスさせる手法を開発し、手動によるハイパーパrameterチューニングの必要性を排除すること。
• トムソンサンプリングやベイズ-UCBといった最先端のアルゴリズムと比較して、累積リグレットが低減することを実証的に示すこと。
• 事後更新が計算可能であれば、複雑な報酬分布に一般化可能な、分布に依存しないアプローチを提供すること。

提案手法

• 本手法はダブルサンプリングを用いる：まずモデルパラメータの事後分布からサンプリングし、次にそのサンプルを用いて意思決定のための十分統計量を推定する。
• モンテカルロサンプリングを用いて、解析的に扱いにくい事後分布の積分を近似し、閉形式解がなくても確率マッチングを可能にする。
• 腕選択方針は不確実性に依存する—不確実性が高いほどより多くの探索が促され、不確実性が低いと活用が優先される。
• アルゴリズムは学習の不確実性に基づいて、次に選ぶ腕候補のサンプル数 $N_{t+1}$ を動的に調整し、探索と活用の自動的バランスを実現する。
• 共役事前分布（正規-逆ガンマ分布）を用いて、逐次的またはバッチ処理で事後分布を更新し、観測された報酬と文脈に基づいてパラメータを更新する。
• 本手法は、一様で非相関のある文脈を用いた文脈付き線形ガウスバンディットに適用し、バンディットの複雑さの代理指標として最小KLダイバージェンスを用いる。

実験結果

リサーチクエスチョン

• RQ1 事後分布からのダブルサンプリングは、分布仮定を必要とせず、ベイジアンバンディットにおける探索と活用のバランスを改善できるか？
• RQ2 提案手法のダブルサンプリングの性能は、トムソンサンプリングやベイズ-UCBと比較して、累積リグレットの観点でどの程度優れているか？
• RQ3 実世界の相互作用が高コストであるがモデルサンプリングは安価な状況では、モデルサンプリングがリグレットをどの程度低減できるか？
• RQ4 本手法は、ハイパーパrameterの手動チューニングなしに、探索と活用を自動的にバランスできるか？
• RQ5 KLダイバージェンスで測定されるバンディットの複雑さの異なるレベルにおいて、アルゴリズムの性能はどの程度か？

主な発見

• 2腕の文脈付きガウスバンディット設定において、ダブルサンプリング手法はトムソンサンプリングと比較して最大40%、ベイズ-UCBと比較して最大50%の累積リグレット低減を達成した。
• KLダイバージェンスが0.25を超える場合に顕著なリグレット低減が観察され、識別が比較的容易なバンディット問題において学習が向上していることが示された。
• 事後分布の不確実性に基づいて候補サンプル数を調整することで、探索と活用のバランスを自動的に維持するため、手動によるチューニングが不要である。
• 特に高複雑度の設定において、性能向上が顕著であり、不確実性に基づくサンプリングがより情報に基づいた意思決定を可能にした。
• ベイズ-UCBは、ベルヌーイバンディットの境界に基づく固定された分位数値（$\alpha_t = 1/t$）に依存しているため、文脈付きガウスケースでは性能が劣ることが分かった。
• 報酬分散（$\sigma \in [0.1, 1]$）や腕の平均差（$0.1$）の変動にかかわらず、広範なパrameter設定に対してロバストであることが確認され、広範な適用可能性が示された。