[论文解读] An online learning approach to dynamic pricing for demand response

Liyan Jia, Lang Tong+1 more|arXiv (Cornell University)|Apr 4, 2014

Smart Grid Energy Management参考文献 21被引用 7

一句话总结

本文提出了一种分段线性随机逼近（PWLSA）算法，用于在客户需求函数未知的条件下进行动态电力定价。通过将零售盈余最大化建模为日前调度跟踪问题，PWLSA实现了对数 regret 增长（Θ(log T)），这是最优的——没有任何其他在线学习算法能够实现更慢的 regret 速率；仿真结果表明，该算法在静态和动态参数场景下均优于贪心方法。

ABSTRACT

In this paper, the problem of optimal dynamic pricing for retail electricity with an unknown demand model is considered. Under the day-ahead dynamic pricing (a.k.a. real time pricing) mechanism, a retailer obtains electricity in a twosettlement wholesale market and serves its customers in real time. Without knowledge on the aggregated demand function of its customers, the retailer aims to maximize its retail surplus by sequentially adjusting its price based on the behavior of its customers in the past. An online learning algorithm, referred to as piecewise linear stochastic approximation (PWLSA), is proposed. It is shown that PWLSA achieves the optimal rate of learning defined by the growth rate of cumulative regret. In particular, the regret of PWLSA is shown to grow logarithmically with respect to the learning horizon, and no other on-line learning algorithm can have the growth rate slower than that of PWLSA. Simulation studies are presented using traces of actual day-ahead prices, and PWLSA compares favorably under both static and dynamically changing parameters.

研究动机与目标

• 解决零售商在缺乏客户需求函数知识的情况下进行动态电力定价的问题。
• 在需求模型未知的日前动态定价（DADP）框架下，实现零售盈余最大化。
• 设计一种在线学习算法，实现实时定价中的探索与利用之间的平衡。
• 实现在线学习在动态定价中的最优 regret 增长速率。
• 在静态和时变需求参数条件下，验证算法相对于贪心方法的性能表现。

提出的方法

• 零售商采用两阶段结算批发市场模型，其中日前价格和实时价格共同决定盈余，基于与计划负荷的偏差。
• 零售盈余被建模为实时负荷偏离日前计划的 2-范数的正比函数。
• PWLSA 算法根据历史客户响应顺序调整价格，利用分段线性随机逼近方法估计需求参数。
• 该算法通过平衡探索（多样化定价信号）与利用（利润最大化价格）来最小化累积 regret。
• Regret 定义为最优盈余（已知需求）与实际盈余（未知需求）之间的差值，以增长速率作为性能指标。
• 该方法基于随机逼近理论，且在仿射需求模型下具有收敛性保证。

实验结果

研究问题

• RQ1 在需求函数未知的动态电力定价场景下，是否存在一种在线学习算法能够实现最优的 regret 增长速率？
• RQ2 在静态和时变需求参数条件下，PWLSA 的性能与贪心定价策略相比如何？
• RQ3 当需求函数未知时，在线动态定价中 regret 增长的根本极限是什么？
• RQ4 两阶段结算市场结构如何影响零售盈余和学习目标的建模？
• RQ5 当需求参数随时间变化时，该算法能否保持鲁棒性并实现快速收敛？

主要发现

• PWLSA 实现了 Θ(log T) 的 regret 增长速率，这是该设置下任何在线学习算法可能达到的最慢速率。
• 没有任何其他在线学习算法能够实现比 PWLSA 更慢的 regret 增长速率，因此其为阶最优（order optimal）。
• 在使用真实世界日前价格轨迹的仿真中，PWLSA 在累积 regret 方面显著优于贪心方法。
• 在静态参数条件下，PWLSA 迅速收敛至最优价格，而贪心方法表现出较高的初始 regret，并在极端场景下偶发失败。
• 在需求参数建模为马尔可夫链的动态参数场景下，PWLSA 维持了线性 regret 增长（在时变条件下为最优），并稳健地跟踪了最优价格。
• 在罕见的失败案例中，贪心方法因奇异性问题产生异常价格，而 PWLSA 保持稳定且具备自适应能力。