[論文レビュー] Modeling Human Decision-making in Generalized Gaussian Multi-armed Bandits

Paul Reverdy, Vaibhav Srivastava+1 more|arXiv (Cornell University)|Jul 23, 2013

Advanced Bandit Algorithms Research参考文献 47被引用数 4

ひとこと要約

本稿では、ガウス型報酬を伴うベイジアンマルチアームバンディット問題に対して、人間の不確実性下での意思決定をモデル化するための上側信用限界（UCL）アルゴリズムを提案する。決定的および確率的UCLバージョンの両方について、累積期待リグレットが対数的であることを証明し、情報のある事前分布や相関構造の導入により性能が向上することを示し、実験データを用いた人間行動の妥当性を検証する。また、遷移コストやグラフ構造を伴う状況への拡張として、ブロックUCLおよびグラフィカルブロックUCLアルゴリズムを導入し、同様のリグレットバウンドを示す。

ABSTRACT

We present a formal model of human decision-making in explore-exploit tasks using the context of multi-armed bandit problems, where the decision-maker must choose among multiple options with uncertain rewards. We address the standard multi-armed bandit problem, the multi-armed bandit problem with transition costs, and the multi-armed bandit problem on graphs. We focus on the case of Gaussian rewards in a setting where the decision-maker uses Bayesian inference to estimate the reward values. We model the decision-maker's prior knowledge with the Bayesian prior on the mean reward. We develop the upper credible limit (UCL) algorithm for the standard multi-armed bandit problem and show that this deterministic algorithm achieves logarithmic cumulative expected regret, which is optimal performance for uninformative priors. We show how good priors and good assumptions on the correlation structure among arms can greatly enhance decision-making performance, even over short time horizons. We extend to the stochastic UCL algorithm and draw several connections to human decision-making behavior. We present empirical data from human experiments and show that human performance is efficiently captured by the stochastic UCL algorithm with appropriate parameters. For the multi-armed bandit problem with transition costs and the multi-armed bandit problem on graphs, we generalize the UCL algorithm to the block UCL algorithm and the graphical block UCL algorithm, respectively. We show that these algorithms also achieve logarithmic cumulative expected regret and require a sub-logarithmic expected number of transitions among arms. We further illustrate the performance of these algorithms with numerical examples. NB: Appendix G included in this version details minor modifications that correct for an oversight in the previously-published proofs. The remainder of the text reflects the published work.

研究の動機と目的

• 探索と活用のタスクにおける人間の意思決定を、ベイジアンマルチアームバンディットフレームワークを用いて形式化すること。
• ガウス型報酬を伴う標準的、遷移コスト付き、グラフ構造付きバンディット問題に適した上側信用限界（UCL）アルゴリズムの開発および分析を行うこと。
• 優れた事前分布やアーム間の相関仮定が、短期的な時間スケールでさえも性能を顕著に向上させることを示すこと。
• 制御された実験から得られた人間行動データに対して、確率的UCLアルゴリズムの妥当性を検証すること。
• 構造的意思決定問題における部分対数的遷移コストを考慮したブロックUCLおよびグラフィカルブロックUCLアルゴリズムへのUCLフレームワークの拡張を行うこと。

提案手法

• 平均報酬に関する事前知識をモデル化するためのベイジアン推論を用い、無情報的または情報のある事前分布を採用する。
• 事後分布の平均の上側信用限界が最大となるアームを選択する決定的UCLアルゴリズムを提案する。
• 人間の探索行動をよりよく捉えるために、確率的バージョンとしての確率的UCLアルゴリズムを導入する。
• 遷移コストを伴うマルチアームバンディット問題へのUCLフレームワークの拡張としてブロックUCLを、グラフ構造付きアームへの拡張としてグラフィカルブロックUCLを導入する。
• 選択の依存性に関する過去の証明の見落としを是正するため、ガリヴィエとムアインズのテールバウンドを応用した修正された証明技法を適用する。
• プリンストン大学のIRB承認済み実験から得た人間被験者のデータと比較することで、モデルの性能を実験的に妥当性検証する。

実験結果

リサーチクエスチョン

• RQ1 探索と活用のタスクにおける人間の意思決定を、ベイジアンマルチアームバンディットフレームワークを用いてどのように形式化できるか？
• RQ2 無情報的および情報のある事前分布のもとで、UCLアルゴリズムの累積期待リグレットの理論的性能はどの程度か？
• RQ3 事前知識やアーム間の相関仮定が、意思決定の性能にどの程度寄与するか？
• RQ4 確率的UCLアルゴリズムは、バンディットタスクにおける人間の行動パターンを効果的に捉えることができるか？
• RQ5 ブロックUCLおよびグラフィカルブロックUCLアルゴリズムは、遷移コストやグラフ制約を伴う構造的環境でどの程度の性能を示すか？

主な発見

• 決定的UCLアルゴリズムは、無情報的事前分布のもとで、最適な対数的累積期待リグレットを達成する。
• 適切なパrameterにキャリブレーションされた確率的UCLアルゴリズムは、人間の意思決定行動を効果的に捉えることができる。
• 優れた事前分布と相関仮定は、短期的な時間スケールでさえもリグレットを顕著に低減させ、標準的手法を上回る性能を実現する。
• ブロックUCLおよびグラフィカルブロックUCLアルゴリズムは、対数的累積期待リグレットを達成し、アーム間の遷移回数の期待値が部分対数的であることを示す。
• ガリヴィエとムアインズのテールバウンドを用いた修正された証明により、元のリグレットバウンドが正当化され、修正されたバウンドとして $\mathbb{E}[n_i^T] \leq \frac{8a\sigma_s^2}{\Delta_i^2}\log T + o(\log T)$ が得られた（決定的UCL）。
• 人間被験者からの実験データは、調整されたパrameterを用いた確率的UCLモデルが観察された人間の行動とよく一致することを確認した。