[论文解读] Meta Dynamic Pricing: Learning Across Experiments

Hamsa Bastani, David Simchi‐Levi+1 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Bandit Algorithms Research被引用 8

一句话总结

该论文提出了一种元动态定价算法，通过在线贝叶斯采样结合不确定性感知的先验扩展机制，在实时学习多个相关产品需求参数的共享先验分布的同时，实现了在 N 上的次线性元遗憾（meta-regret），并在实验丰富的环境中显著加速了学习过程，有效平衡了元探索（meta-exploration）与元利用（meta-exploitation）。

ABSTRACT

We study the problem of learning shared structure \emph{across} a sequence of dynamic pricing experiments for related products. We consider a practical formulation where the unknown demand parameters for each product come from an unknown distribution (prior) that is shared across products. We then propose a meta dynamic pricing algorithm that learns this prior online while solving a sequence of Thompson sampling pricing experiments (each with horizon $T$) for $N$ different products. Our algorithm addresses two challenges: (i) balancing the need to learn the prior (\emph{meta-exploration}) with the need to leverage the estimated prior to achieve good performance (\emph{meta-exploitation}), and (ii) accounting for uncertainty in the estimated prior by appropriately widening the prior as a function of its estimation error, thereby ensuring convergence of each price experiment. Unlike prior-independent approaches, our algorithm's meta regret grows sublinearly in $N$; an immediate consequence of our analysis is that the price of an unknown prior in Thompson sampling is negligible in experiment-rich environments with shared structure (large $N$). Numerical experiments on synthetic and real auto loan data demonstrate that our algorithm significantly speeds up learning compared to prior-independent algorithms or a naive approach of greedily using the updated prior across products.

研究动机与目标

• 解决在一系列相关产品的动态定价实验中，学习共享需求参数结构的挑战。
• 以合理方式平衡元探索（学习共享先验）与元利用（利用先验提升定价性能）。
• 通过自适应先验扩展机制，考虑共享先验中的估计误差，确保单个定价实验的收敛性。
• 证明在大规模、实验丰富的环境中，当利用共享结构时，未知先验的代价会变得可忽略。

提出的方法

• 提出一种元动态定价算法，在 N 个相关产品上按顺序运行汤普森采样实验，每个产品具有时间跨度 T。
• 使用在线学习技术，估计多个产品间需求参数的共享先验分布。
• 引入一种基于估计误差的先验扩展机制，确保在共享先验存在不确定性的情况下，单个定价实验仍能收敛。
• 通过根据估计先验的不确定性动态调整探索程度，实现元探索与元利用的平衡。
• 采用分层贝叶斯框架，随着新定价实验结果的不断出现，逐步更新共享先验。
• 采用次线性元遗憾分析，表明由于先验不确定性导致的性能损失会随着 N 的增加而减小。

实验结果

研究问题

• RQ1 如何利用多个动态定价实验之间的共享结构来提升学习效率？
• RQ2 在探索以学习共享先验与利用先验以提升定价性能之间，存在怎样的权衡？
• RQ3 如何量化并处理估计共享先验的不确定性，以确保单个定价实验的收敛性？
• RQ4 在大规模、实验丰富的环境中，先验不确定性对整体性能有何影响？
• RQ5 当先验最初未知时，元学习方法是否仍能在产品数量 N 上实现次线性元遗憾？

主要发现

• 所提出的元动态定价算法在 N 上实现了次线性元遗憾，表明随着产品数量的增加，先验不确定性的代价会逐渐降低。
• 与独立于先验的方法及在真实汽车贷款数据和合成数据上对更新后先验的朴素贪婪使用相比，该算法显著加速了学习过程。
• 基于估计误差的自适应先验扩展机制，即使在共享先验存在不确定性的情况下，也能确保每个单独定价实验的收敛性。
• 在具有共享需求结构的实验丰富环境中，汤普森采样中未知先验的代价变得可忽略不计。
• 数值实验确认，该算法在学习速度和性能方面均优于独立于先验的基线方法和贪婪方法。