[论文解读] Bandit problems with Levy payoff processes

Asaf Cohen, Eilon Solan|ArXiv.org|Jun 4, 2009

Stochastic processes and financial applications被引用 9

一句话总结

本文研究连续时间下的两臂 Lévy 棒球问题，其中一臂提供恒定收益，另一臂的随机收益由 Lévy 过程驱动（结合了布朗运动与跳跃）。在正则性条件下，最优策略是唯一的截断规则：当对高类型风险臂的后验信念超过某一阈值时继续实验，之后切换至安全臂。本文通过求解非线性常微分方程组，推导出截断点与最优收益的显式公式。

ABSTRACT

We study two-armed Levy bandits in continuous-time, which have one safe arm that yields a constant payoff s, and one risky arm that can be either of type High or Low; both types yield stochastic payoffs generated by a Levy process. The expectation of the Levy process when the arm is High is greater than s, and lower than s if the arm is Low. The decision maker (DM) has to choose, at any given time t, the fraction of resource to be allocated to each arm over the time interval [t,t+dt). We show that under proper conditions on the Levy processes, there is a unique optimal strategy, which is a cut-off strategy, and we provide an explicit formula for the cut-off and the optimal payoff, as a function of the data of the problem. We also examine the case where the DM has incorrect prior over the type of the risky arm, and we calculate the expected payoff gained by a DM who plays the optimal strategy that corresponds to the incorrect prior. In addition, we study two applications of the results: (a) we show how to price information in two-armed Levy bandit problem, and (b) we investigate who fares better in two-armed bandit problems: an optimist who assigns to High a probability higher than the true probability, or a pessimist who assigns to High a probability lower than the true probability.

研究动机与目标

• 建模以 Lévy 过程作为收益生成器的不确定性环境下的动态决策问题。
• 建立在两臂棒球问题中，Lévy 收益下最优策略为截断策略的条件。
• 推导最优截断点与期望收益的显式公式，作为模型参数的函数。
• 分析当决策者对风险臂类型持有错误信念时，先验误设对期望收益的影响。
• 将结果应用于信息定价，并比较在棒球设定下乐观者与悲观者的性能表现。

提出的方法

• 将棒球问题建模为连续时间最优控制问题，包含两臂：一为安全臂（恒定收益 s），一为风险臂（具有两种可能类型的 Lévy 过程：高或低）。
• 利用贝叶斯更新追踪风险臂为高类型之后验概率，基于观测到的 Lévy 过程路径。
• 建立最优期望收益的动态规划方程，导出涉及价值函数与后验信念的非线性常微分方程组。
• 求解该常微分方程组，推导出最优截断点 p* 关于模型参数（s, g1, g2, g1', g2', 等）的显式表达式。
• 将最优策略表征为阈值规则：当信念 > p* 时继续探索，否则切换至安全臂。
• 利用解计算在错误先验下的期望收益，并比较乐观者与悲观者的性能表现。

实验结果

研究问题

• RQ1 在具有连续时间 Lévy 过程收益的两臂 Lévy 棒球问题中，何时存在唯一的最优截断策略？
• RQ2 最优截断点及其对应最优期望收益的显式公式是什么？请以模型参数表示。
• RQ3 当决策者对风险臂类型使用错误先验时，期望收益如何变化？
• RQ4 如何基于最优策略的价值，在此两臂 Lévy 棒球框架中对信息进行定价？
• RQ5 在最优策略下，乐观者（高估高类型概率）还是悲观者（低估高类型概率）能获得更高的期望收益？

主要发现

• 最优策略为唯一的截断策略：只要对高类型风险臂的后验信念高于阈值 p*，决策者就持续实验；一旦信念低于 p*，即切换至安全臂。
• 截断点 p* 显式地表示为涉及 Lévy 过程漂移与跳跃特征以及安全臂收益 s 的非线性方程的解。
• 最优期望收益由一个闭式表达式给出，其依赖于初始信念 p0、截断点 p* 以及 Lévy 过程与安全臂的参数。
• 当决策者使用错误先验时，其期望收益严格低于使用正确先验的情形，且损失可通过推导出的价值函数量化。
• 若常微分方程组的解 α 满足 α > 1，则乐观者（先验 q0 > p0）表现优于悲观者（先验 q0 < p0）；否则在某些信念区间内悲观者可能表现更优。
• 本文证明了信息具有正价值：最优策略的期望收益随先验精度的提高而上升，且可通过推导出的公式显式定价信息价值。