[论文解读] A rank-based selection with cardinal payoffs and a cost of choice

Krzysztof Szajowski|arXiv (Cornell University)|Dec 18, 2008

Optimization and Search Problems参考文献 19被引用 10

一句话总结

本文通过引入基于物品实际价值的基数收益以及决策的个人成本，扩展了经典的秘书问题，以建模现实世界中的选择犹豫。利用嵌入马尔可夫链的逆向归纳法，推导出最优阈值策略，其中最优停止时间取决于物品的真实价值与决策成本，渐近分析表明当 N 趋近于无穷大时，最优阈值收敛于对数方程的解。

ABSTRACT

A version of the secretary problem is considered. The ranks of items, whose values are independent, identically distributed random variables $X_1,X_2,...,X_n$ from a uniform distribution on $[0; 1]$, are observed sequentially by the grader. He has to select exactly one item, when it appears, and receives a payoff which is a function of the unobserved realization of random variable assigned to the item diminished by some cost. The methods of analysis are based on the existence of an embedded Markov chain and use the technique of backward induction. The result is a generalization of the selection model considered by Bearden(2006). The asymptotic behaviour of the solution is also investigated.

研究动机与目标

• 建模在顺序选择中实际物品价值影响收益而非仅排名的现实决策过程。
• 引入决策的个人成本，反映选择犹豫或过早选择的恐惧。
• 通过增加影响最优停止阈值的成本，推广 Bearden（2006）的基数收益模型。
• 分析当物品数量 N 趋近于无穷大时，最优策略与期望收益的渐近行为。

提出的方法

• 将选择问题建模为马尔可夫决策过程，其状态空间为相对排名与观测值的嵌入马尔可夫链。
• 应用逆向归纳法，从最终阶段开始计算每个阶段的最优停止时间。
• 使用一步 ahead 规则确定最优策略，其中是否停止取决于当前收益是否超过继续选择的期望值。
• 推导最优阈值 $k_0^*$ 的精确解与渐近解，表明其依赖于成本 $c$ 与 $N$，且当 $N \to \infty$ 时 $k_0^*/N \to \alpha$。
• 求解 $\alpha$ 为 $(0,1)$ 区间内方程 $\log(x) = (1 + \frac{1}{2c})(x - 1)$ 的唯一解，刻画渐近阈值。
• 考虑两种变体：一种在所有阶段均产生成本，另一种在最终阶段无成本，导致不同的阈值方程。

实验结果

研究问题

• RQ1 在基于排名的选择问题中引入个人决策成本，如何影响最优停止规则？
• RQ2 当物品数量 $N$ 增大时，最优阈值 $k_0^*$ 的渐近行为如何？
• RQ3 随着决策成本 $c$ 增加，期望收益如何变化？其极限值是什么？
• RQ4 当决策成本应用于所有阶段与仅应用于早期阶段（不包括最终阶段）时，最优策略有何差异？
• RQ5 最优策略是否可由阈值规则表征？若可，该阈值如何依赖于 $c$ 与 $N$？

主要发现

• 最优策略为阈值规则：跳过前 $k_0^*-1$ 个物品，在第 $k_0^*$ 期或之后首次遇到当前最佳（排名为1）的物品时停止选择，若未找到则在第 $N$ 期停止。
• 当 $c > 0$ 时，渐近阈值 $k_0^*/N \to \alpha$，其中 $\alpha$ 是 $(0,1)$ 区间内方程 $\log(x) = (1 + \frac{1}{2c})(x - 1)$ 的唯一解。
• 渐近期望收益收敛于 $1 - c - (c + \frac{1}{2})\alpha - \frac{c\alpha}{1 - \alpha}\log(\alpha)$，当 $c > 0$ 时小于 1，反映出成本的影响。
• 当最终阶段不产生成本时，渐近阈值更大，此时 $\alpha$ 满足方程 $\log(x) = \frac{1}{2c}(x - 1)$，导致更高的 $k_0^*$ 与更低的期望收益（相同 $c$ 下）。
• 数值结果表明，当 $N=100$ 时，若成本在所有阶段均产生，最优阈值从 $c=0$ 时的 10 增加至 $c=0.2$ 时的 14；若最后一阶段无成本，则阈值增至 22。
• 该模型表明决策成本显著延迟最优停止时间，真实反映了现实中的犹豫行为，并为顺序搜索中的风险规避行为提供了定量建模框架。