[论文解读] Modeling Human Decision-making in Generalized Gaussian Multi-armed Bandits

Paul Reverdy, Vaibhav Srivastava+1 more|arXiv (Cornell University)|Jul 23, 2013

Advanced Bandit Algorithms Research参考文献 47被引用 4

一句话总结

该论文为具有高斯奖励的贝叶斯多臂赌博机问题提出了可信上限（UCL）算法，用于建模不确定条件下的决策行为。该文证明了确定性和随机UCL变体的对数累积期望遗憾，展示了信息性先验和相关性结构带来的性能提升，并通过实证数据验证了人类行为，通过块UCL和图块UCL算法将框架扩展至转移成本和图结构化臂的问题，其遗憾边界相似。

ABSTRACT

We present a formal model of human decision-making in explore-exploit tasks using the context of multi-armed bandit problems, where the decision-maker must choose among multiple options with uncertain rewards. We address the standard multi-armed bandit problem, the multi-armed bandit problem with transition costs, and the multi-armed bandit problem on graphs. We focus on the case of Gaussian rewards in a setting where the decision-maker uses Bayesian inference to estimate the reward values. We model the decision-maker's prior knowledge with the Bayesian prior on the mean reward. We develop the upper credible limit (UCL) algorithm for the standard multi-armed bandit problem and show that this deterministic algorithm achieves logarithmic cumulative expected regret, which is optimal performance for uninformative priors. We show how good priors and good assumptions on the correlation structure among arms can greatly enhance decision-making performance, even over short time horizons. We extend to the stochastic UCL algorithm and draw several connections to human decision-making behavior. We present empirical data from human experiments and show that human performance is efficiently captured by the stochastic UCL algorithm with appropriate parameters. For the multi-armed bandit problem with transition costs and the multi-armed bandit problem on graphs, we generalize the UCL algorithm to the block UCL algorithm and the graphical block UCL algorithm, respectively. We show that these algorithms also achieve logarithmic cumulative expected regret and require a sub-logarithmic expected number of transitions among arms. We further illustrate the performance of these algorithms with numerical examples. NB: Appendix G included in this version details minor modifications that correct for an oversight in the previously-published proofs. The remainder of the text reflects the published work.

研究动机与目标

• 通过贝叶斯多臂赌博机框架，正式化探索-利用任务中的人类决策行为。
• 为具有高斯奖励的标准、转移成本和图结构化赌博机，开发并分析可信上限（UCL）算法。
• 证明良好的先验知识和臂之间的相关性假设能显著提升性能，即使在较短的时间范围内亦然。
• 通过控制实验中的人类行为实证数据，验证随机UCL算法的有效性。
• 将UCL框架扩展至块UCL和图块UCL算法，以应对具有次对数转移成本的结构化决策问题。

提出的方法

• 使用贝叶斯推断对均值奖励的先验知识进行建模，采用非信息性或信息性先验。
• 提出确定性UCL算法，选择后验均值可信上限最高的臂。
• 引入随机UCL算法作为随机化变体，以更好地捕捉人类探索行为。
• 将UCL框架扩展至块UCL（用于具有转移成本的多臂赌博机）和图块UCL（用于图结构化臂）。
• 采用Garivier和Moulines的尾部界修正证明技术，弥补早期证明中关于选择依赖性的疏漏。
• 通过与普林斯顿大学IRB批准实验中人类受试者的数据对比，实证验证模型性能。

实验结果

研究问题

• RQ1 如何利用贝叶斯多臂赌博机框架，正式建模人类在探索-利用任务中的决策行为？
• RQ2 在非信息性与信息性先验下，UCL算法的累积期望遗憾在理论上表现如何？
• RQ3 先验知识和臂之间的相关性假设在多大程度上能改善决策性能？
• RQ4 随机UCL算法能否有效捕捉人类在赌博机任务中的行为模式？
• RQ5 在具有转移成本或图约束的结构化环境中，块UCL和图块UCL算法表现如何？

主要发现

• 确定性UCL算法实现了对数累积期望遗憾，这在非信息性先验下为最优。
• 在适当参数校准下，随机UCL算法能有效捕捉人类决策行为。
• 良好的先验和相关性假设能显著降低遗憾，即使在短时间范围内亦能超越标准算法的性能。
• 块UCL和图块UCL算法实现了对数累积期望遗憾，并且在臂之间转移的期望次数为次对数级。
• 使用Garivier和Moulines的尾部界修正后的证明验证了原始遗憾边界，修正后的边界显示：对于确定性UCL，有 $\mathbb{E}[n_i^T] \leq \frac{8a\sigma_s^2}{\Delta_i^2}\log T + o(\log T)$。
• 人类实验的实证数据证实，经过调参的随机UCL模型与观察到的人类行为高度吻合。