[論文レビュー] Correlated Multiarmed Bandit Problem: Bayesian Algorithms and Regret Analysis

Vaibhav Srivastava, Paul Reverdy+1 more|arXiv (Cornell University)|Jul 5, 2015

Advanced Bandit Algorithms Research参考文献 16被引用数 11

ひとこと要約

本稿では、ガウス型報酬を伴う多腕バンディット問題に対して、空間相関を表現するベイズ的事前分布を組み込んだ相関付き上側信用限界（UCL）アルゴリズムを提案する。情報的な事前分布が正しい相関構造を有する場合、累積的レジストが著しく低減されることが示され、一方で誤った相関仮定がなされると性能が低下することが判明し、意思決定性能における事前分布の正確性および相関スケールの重要性が強調される。

ABSTRACT

We consider the correlated multiarmed bandit (MAB) problem in which the rewards associated with each arm are modeled by a multivariate Gaussian random variable, and we investigate the influence of the assumptions in the Bayesian prior on the performance of the upper credible limit (UCL) algorithm and a new correlated UCL algorithm. We rigorously characterize the influence of accuracy, confidence, and correlation scale in the prior on the decision-making performance of the algorithms. Our results show how priors and correlation structure can be leveraged to improve performance.

研究の動機と目的

• 相関のある多腕バンディット問題におけるUCLアルゴリズムの性能に及ぼすベイズ的事前分布の仮定（正確性、信頼性、相関スケール）の影響を分析すること。
• 特に空間相関を組み込んだ情報的な事前分布が、ガウス型報酬のバンディット設定における累積的レジストに与える影響を調査すること。
• 空間的埋め込みタスクにおける意思決定を改善するために、構造化された事前分布を活用する新しい相関付きUCLアルゴリズムの開発と評価を行うこと。
• 情報的な事前分布が非情報的分布を上回る条件、および誤った正確性や相関仮定により性能が劣化する条件を特定すること。

提案手法

• UCLアルゴリズムを、報酬が多変量正規分布に従う相関のある多腕バンディット問題に適用する。
• 事前分布は、腕の報酬に関する信念を表現しており、平均、分散、および指定された相関長スケールを有する指数カーネルを用いた空間相関を含む。
• 性能評価は累積期待レジストを用い、100回のシミュレーションを実行して平均レジスト軌跡を算出する。
• 非情報的事前分布、情報的で相関のない事前分布、および正確性と相関スケールを変化させた情報的で相関のある事前分布を比較する。
• 事後更新と選択ルールに空間相関構造を明示的に組み込んだ新しい相関付きUCLアルゴリズムを提案する。
• 事前分布の信頼性と正確性の影響を隔離するために、適切な事前分布と不適切な事前分布の両条件下でレジスト解析を実施する。

実験結果

リサーチクエスチョン

• RQ1 相関のある多腕バンディット設定において、事前分布の平均の正確性はUCLアルゴリズムの累積的レジストにどのように影響するか？
• RQ2 事前分布の信頼性（分散）と不正確さ（平均オフセット）は意思決定性能にどのような影響を及ぼすか？
• RQ3 事前分布における相関スケールは、報酬表面を探索するのに要するステップ数にどのように影響するか？
• RQ4 誤った相関スケールを持つ相関付き事前分布は、レジストを増加させる可能性があるか？ もしそうであるなら、どのような条件下でそうなるか？
• RQ5 事前分布における空間相関構造は、平均推定値の不正確さをどれだけ相殺できるか？

主な発見

• 正しい相関構造を持つ情報的な相関付き事前分布は、非情報的または相関のない事前分布と比較して、累積的レジストを著しく低減する。
• 不適切な相関のない事前分布は、非情報的事前分布よりも性能を劣化させる可能性があり、t = 4,500に達するまでにレジストが約35,000にまで増加する。これは、非最適な腕の長時間の探索に起因する。
• 誤った長すぎる相関スケールを持つ相関付き事前分布は、非情報的事前分布よりも性能を向上させるが、適切に情報化された相関付き事前分布ほど効果的ではない。
• 適切に情報化された相関付き事前分布を用いたUCLアルゴリズムは、Lai-Robbinsの対数的レジスト下限を上回る性能を示し、特定の設定では事前知識により超最適な性能が達成可能であることを示唆している。
• 不適切な相関のない事前分布に相関構造を追加することで、適切に情報化された相関付き事前分布と同程度の性能が回復される。これは、空間相関情報の価値を示している。
• 本研究では、事前分布の信頼性と不正確さのトレードオフを同定した。誤った事前分布に対して高い信頼性を置くと性能が悪化するが、信頼性を低くすることでその影響を緩和できる。