[论文解读] Meta Dynamic Pricing: Transfer Learning Across Experiments

Hamsa Bastani, David Simchi‐Levi+1 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Bandit Algorithms Research参考文献 67被引用 24

一句话总结

本文提出了一种元动态定价算法，通过在多个相关定价实验中利用迁移学习，并结合共享的、学习得到的先验分布，采用Thompson采样方法。通过在元探索与元利用之间取得平衡，并通过先验对齐来考虑先验估计的不确定性，该方法在产品数量N上实现了次线性元遗憾，相较于无先验的方法显著加速了学习过程。

ABSTRACT

We study the problem of learning shared structure \emph{across} a sequence of dynamic pricing experiments for related products. We consider a practical formulation where the unknown demand parameters for each product come from an unknown distribution (prior) that is shared across products. We then propose a meta dynamic pricing algorithm that learns this prior online while solving a sequence of Thompson sampling pricing experiments (each with horizon $T$) for $N$ different products. Our algorithm addresses two challenges: (i) balancing the need to learn the prior (\emph{meta-exploration}) with the need to leverage the estimated prior to achieve good performance (\emph{meta-exploitation}), and (ii) accounting for uncertainty in the estimated prior by appropriately "widening" the estimated prior as a function of its estimation error. We introduce a novel prior alignment technique to analyze the regret of Thompson sampling with a mis-specified prior, which may be of independent interest. Unlike prior-independent approaches, our algorithm's meta regret grows sublinearly in $N$, demonstrating that the price of an unknown prior in Thompson sampling can be negligible in experiment-rich environments (large $N$). Numerical experiments on synthetic and real auto loan data demonstrate that our algorithm significantly speeds up learning compared to prior-independent algorithms.

研究动机与目标

• 为解决在大量相关产品中高效学习动态定价策略的挑战。
• 开发一种元学习框架，通过学习需求参数的共享先验分布，在定价实验之间实现知识迁移。
• 在元探索（学习共享先验）与元利用（利用先验提升单个产品性能）之间实现平衡。
• 通过基于估计误差动态扩展先验分布，来考虑共享先验估计中的不确定性。
• 证明在实验丰富的环境（大N）中，Thompson采样中未知先验的代价可以忽略不计。

提出的方法

• 该算法对每个独立产品定价实验使用Thompson采样，采用跨实验在线学习的共享非信息性先验。
• 提出一种新颖的先验对齐技术，用于分析先验错误指定时的遗憾，从而实现更紧致的性能边界。
• 通过估计误差的函数动态调整先验方差（即扩展先验），以考虑共享先验中的不确定性。
• 利用经验贝叶斯原则，从跨产品的历史数据中估计共享先验分布的超参数。
• 通过在线更新维护全局先验分布的运行估计，实现实验完成过程中的持续适应。
• 理论分析表明，元遗憾随N呈次线性增长，表明知识迁移在实验数量增加时变得越来越有效。

实验结果

研究问题

• RQ1 能否在一系列相关产品的动态定价实验之间有效实现知识迁移？
• RQ2 如何在保持单个实验良好性能的同时，在线学习需求参数的共享先验？
• RQ3 先验错误指定对Thompson采样性能的影响是什么，如何缓解？
• RQ4 随着相关实验数量的增加，不知道真实先验的代价是否会减小？
• RQ5 当涉及多个相关产品时，元学习技术能否降低动态定价中的遗憾？

主要发现

• 所提出的元动态定价算法在产品数量N上实现了次线性元遗憾，表明在大N环境中，未知先验的代价变得可忽略不计。
• 与无先验的Thompson采样相比，该算法显著加速了每个产品的学习过程，该结论在合成数据和真实汽车贷款数据上均得到验证。
• 新颖的先验对齐技术使得对错误指定先验的Thompson采样实现严谨的遗憾分析，具有独立的理论价值。
• 基于估计误差扩展先验能有效平衡元探索与元利用，提升鲁棒性与性能。
• 数值实验表明，该算法通过利用相关产品之间的共享结构，减少了学习时间并提升了利润优化效果。
• 理论结果确认，元遗憾每实验增长为O(√T)，且对N的依赖为次线性，表明实现了有效的知识迁移。