[论文解读] Dynamic Pricing with Finitely Many Unknown Valuations

Nicolò Cesa‐Bianchi, Tommaso Cesari+1 more|arXiv (Cornell University)|Jul 9, 2018

Advanced Bandit Algorithms Research参考文献 23被引用 4

一句话总结

本文研究具有有限个未知买家估值的动态定价问题，将收益最大化建模为一个随机多臂赌博机问题，其中[0,1]区间内K个估值的数量和位置均未知。论文提出了算法，在非随机情形下实现√T阶的遗憾边界，在分布依赖情形下针对K=2实现O((log T)/Δ)阶的遗憾边界，并在已知最小需求下降量γ时，为K>2情形获得了改进的边界。

ABSTRACT

Motivated by posted price auctions where buyers are grouped in an unknown number of latent types characterized by their private values for the good on sale, we investigate revenue maximization in stochastic dynamic pricing when the distribution of buyers' private values is supported on an unknown set of points in [0,1] of unknown cardinality $K$. This setting can be viewed as an instance of a stochastic $K$-armed bandit problem where the location of the arms (the $K$ unknown valuations) must be learned as well. In the distribution-free case, we prove that our setting is just as hard as $K$-armed stochastic bandits: no algorithm can achieve a regret significantly better than $\sqrt{KT}$, (where T is the time horizon); we present an efficient algorithm matching this lower bound up to logarithmic factors. In the distribution-dependent case, we show that for all $K>2$ our setting is strictly harder than $K$-armed stochastic bandits by proving that it is impossible to obtain regret bounds that grow logarithmically in time or slower. On the other hand, when a lower bound $γ>0$ on the smallest drop in the demand curve is known, we prove an upper bound on the regret of order $(1/Δ+(\log \log T)/γ^2)(K\log T)$. This is a significant improvement on previously known regret bounds for discontinuous demand curves, that are at best of order $(K^{12}/γ^8)\sqrt{T}$. When $K=2$ in the distribution-dependent case, the hardness of our setting reduces to that of a stochastic $2$-armed bandit: we prove that an upper bound of order $(\log T)/Δ$ (up to $\log\log$ factors) on the regret can be achieved with no information on the demand curve. Finally, we show a $O(\sqrt{T})$ upper bound on the regret for the setting in which the buyers' decisions are nonstochastic, and the regret is measured with respect to the best between two fixed valuations one of which is known to the seller.

研究动机与目标

• 解决买家估值来自[0,1]区间内未知有限K个点的动态定价问题，且对K和估值本身均无先验知识。
• 分析当卖方必须同时学习估值数量和位置时，在分布无关与分布依赖两种设定下的遗憾。
• 设计高效算法，以在探索未知估值点与利用高收益价格之间实现平衡。
• 建立紧致的遗憾边界，反映在随机赌博机框架中同时学习臂的数量与位置所增加的难度。

提出的方法

• 将动态定价问题建模为一个K臂随机赌博机问题，其中臂对应[0,1]区间内的未知估值，奖励由收益函数x·D(x)导出。
• 提出一种算法，使用Exp3并动态调整探索动作，以定位未知估值，尤其适用于K=2且已知一个估值的情形。
• 在Exp3中引入一种简化损失机制：当动态调整的价格b_t > v_1但被拒绝时，损失被低估，以限制由错误探索引起的遗憾。
• 对于K>2，当已知需求曲线下降的最小值下界γ时，推导出遗憾上界为(1/Δ + (log log T)/γ²)·(K log T)阶。
• 在非随机设定中采用离散化与自适应调整策略，当价格被拒绝时，将候选价格减少T^{-1/2}，以收敛至未知估值。
• 利用非盲对手遗憾边界处理Exp3中探索价格b_t的动态调整，确保算法的稳定性和收敛性。

实验结果

研究问题

• RQ1 当买家估值分布支持在[0,1]区间内未知有限K个点时，动态定价的遗憾如何随T变化？
• RQ2 学习未知估值数量K和其位置的问题是否比标准K臂随机赌博机问题更难？
• RQ3 当已知需求曲线下降的最小值下界γ时，是否可获得改进的遗憾边界，特别是对K>2的情形？
• RQ4 在K=2的分布依赖情形下，可实现的最优遗憾是多少？与标准赌博机设定相比如何？
• RQ5 在K>2的分布依赖设定下，能否实现亚对数遗憾？该问题是否本质上更难？

主要发现

• 在分布无关情形下，遗憾下界为Ω(√(KT))，并提出一种算法实现O(√(KT) log T)的遗憾，与下界仅相差对数因子。
• 在K>2的分布依赖情形下，遗憾无法实现对数增长；当已知需求曲线下降的最小值下界γ时，最佳可实现边界为O((1/Δ + (log log T)/γ²)·(K log T))。
• 当K=2且已知下界γ时，遗憾边界为O((log T)/Δ)阶，仅相差log log T因子，与标准两臂赌博机性能一致。
• 在非随机设定下，当存在两个固定估值（其中一个已知）时，论文建立了O(√T)的遗憾边界，即使对需求曲线无先验知识亦成立。
• 所提出的使用Exp3结合简化损失与自适应价格调整的算法，在非随机两估值情形下实现O(√T)的遗憾，其严格证明依赖于有界调整步长与损失低估机制。
• 论文表明，与标准赌博机问题相比，学习未知估值的数量与位置显著增加了问题的固有难度，尤其在K>2时更为明显。