[論文レビュー] Structural Properties of Bayesian Bandits with Exponential Family Distributions

Yaming Yu|arXiv (Cornell University)|Mar 16, 2011

Advanced Bandit Algorithms Research参考文献 20被引用数 3

ひとこと要約

本稿は、指数型分布族の尤度関数と共役事前分布を有するベイジアンバンディットの一般的な構造的性質を確立し、腕の期待値が事前平均に応じて増加し、事前重みに応じて減少することを証明する。これはベルヌーイおよび正規バンディットに対する既知の結果を統一的かつ拡張するものである。主たる貢献は、確率的順序と凸性を用いた、探索と活用のトレードオフの形式的で分布に依存しない特徴付けである。

ABSTRACT

We study a bandit problem where observations from each arm have an exponential family distribution and different arms are assigned independent conjugate priors. At each of n stages, one arm is to be selected based on past observations. The goal is to find a strategy that maximizes the expected discounted sum of the $n$ observations. Two structural results hold in broad generality: (i) for a fixed prior weight, an arm becomes more desirable as its prior mean increases; (ii) for a fixed prior mean, an arm becomes more desirable as its prior weight decreases. These generalize and unify several results in the literature concerning specific problems including Bernoulli and normal bandits. The second result captures an aspect of the exploration-exploitation dilemma in precise terms: given the same immediate payoff, the less one knows about an arm, the more desirable it becomes because there remains more information to be gained when selecting that arm. For Bernoulli and normal bandits we also obtain extensions to nonconjugate priors.

研究の動機と目的

• 指数型分布族にわたるベイジアンバンディットにおける単調性結果を統一的かつ一般化すること。
• 確率的順序を用いて、事前平均と事前重みの観点から探索と活用のトレードオフを形式化すること。
• ベルヌーイおよび正規バンディットにおける共役事前分布を超えた構造的結果を拡張すること。
• 有限時限、非幾何的割引率設定におけるギッティンズ指数および動的割り当ての理論的基盤を提供すること。

提案手法

• 事前平均 γ と事前重み τ でパラメータ化された共役事前分布を有する指数型分布族を用いた2腕バンディット問題の形式化。
• 後験分布および価値関数の比較に、凸順序と尤度比順序を用いる。
• 後退的帰納法と動的計画法を用いて、一般の割引列を有する有限時限問題の価値関数を導出する。
• 帰納法と確率的優位性の議論を用いて、価値関数が事前平均に関して増加的で、事前重みに関して減少的であることを証明する。
• 凸順序と後験分散の上限を用いて、ベルヌーイおよび正規バンディットにおける非共役事前分布への結果の拡張。
• 正規位置スケール族の性質および後験平均の微分を活用し、畳み込み下での単調性を確立する。

実験結果

リサーチクエスチョン

• RQ1 指数型分布族の尤度関数を有するベイジアンバンディットにおいて、事前平均は腕の最適期待報酬にどのように影響するか？
• RQ2 不確実性が存在する状況で、事前重み（サンプルサイズ）は腕の魅力にどのように影響するか？
• RQ3 確率的順序を用いて、指数型分布族バンディット全体にわたる探索と活用のトレードオフを一様に特徴付けられるか？
• RQ4 ギッティンズ指数の単調性は、非幾何的割引率および一般の共役事前分布へと拡張可能か？
• RQ5 ベルヌーイおよび正規バンディットにおける非共役事前分布に対しても、単調性結果を拡張可能か？

主な発見

• 固定された事前重みに対して、任意の腕の事前平均が増加するにつれて最適期待報酬が増加する。
• 固定された事前平均に対して、任意の腕の事前重みが減少するにつれて最適期待報酬が増加する。これは探索の価値を形式化するものである。
• 正規事前分布の平均に関して、価値関数は凸性を示す。これは後験平均を十分統計量として用いることを支持する。
• 後験平均の微分は後験分散に等しく、信念の更新速度の上限を導出可能である。
• ベルヌーイおよび正規バンディットにおける非共役事前分布に対しても、同じ単調性が凸順序および確率的優位性の下で成立する。
• より低い事前重みが常により高いギッティンズ指数をもたらすという予想は、非幾何的割引率設定では未解決のままである。