[论文解读] Least Squares Policy Iteration with Instrumental Variables vs. Direct Policy Search: Comparison Against Optimal Benchmarks Using Energy Storage

Warren R. Scott, Warren B. Powell+1 more|arXiv (Cornell University)|Jan 4, 2014

Smart Grid Energy Management参考文献 30被引用 12

一句话总结

本文比较了基于工具变量（IV）的最小二乘策略迭代（LSPI）与直接策略搜索在储能应用中的表现，结果表明基于IV的LSPI显著优于标准最小二乘贝尔曼误差最小化方法，但仍逊色于基于知识梯度的直接策略搜索。该研究建立了基于IV的贝尔曼误差最小化与投影贝尔曼误差最小化之间的理论等价性，为高维随机控制问题中传统近似动态规划方法提供了一致且高效的替代方案。

ABSTRACT

This paper studies approximate policy iteration (API) methods which use least-squares Bellman error minimization for policy evaluation. We address several of its enhancements, namely, Bellman error minimization using instrumental variables, least-squares projected Bellman error minimization, and projected Bellman error minimization using instrumental variables. We prove that for a general discrete-time stochastic control problem, Bellman error minimization using instrumental variables is equivalent to both variants of projected Bellman error minimization. An alternative to these API methods is direct policy search based on knowledge gradient. The practical performance of these three approximate dynamic programming methods are then investigated in the context of an application in energy storage, integrated with an intermittent wind energy supply to fully serve a stochastic time-varying electricity demand. We create a library of test problems using real-world data and apply value iteration to find their optimal policies. These benchmarks are then used to compare the developed policies. Our analysis indicates that API with instrumental variables Bellman error minimization prominently outperforms API with least-squares Bellman error minimization. However, these approaches underperform our direct policy search implementation.

研究动机与目标

• 评估在储能应用中使用工具变量（IV）进行最小二乘贝尔曼误差最小化的近似策略迭代（API）方法的性能。
• 在真实、高维的随机控制问题中，将基于IV的LSPI与标准最小二乘策略迭代及基于知识梯度的直接策略搜索进行比较。
• 在离散时间随机控制中，建立基于工具变量的贝尔曼误差最小化与投影贝尔曼误差最小化（MSPBE）之间的理论等价性。
• 通过在真实世界储能数据集上执行值迭代，提供最优基准，以严格评估算法性能。
• 研究不同近似动态规划策略在可再生能源集成背景下的实际可扩展性与准确性。

提出的方法

• 使用基于工具变量（IV）的最小二乘策略迭代（LSPI）来最小化贝尔曼误差，确保在回归变量为内生变量时仍能实现一致估计。
• 在一般条件下，数学证明了基于IV的贝尔曼误差最小化与均方误差投影贝尔曼误差（MSPBE）最小化等价。
• 采用线性值函数逼近来建模储能策略，利用真实世界的风电和负荷数据生成基准问题。
• 在生成的数据集上应用值迭代以计算最优策略，作为算法比较的基准。
• 通过知识梯度实现直接策略搜索，以策略质量与收敛性为指标，与基于API的方法进行对比。
• 利用统计一致性理论与渐近分析，验证在标准假设（如外生性及工具变量协方差的满秩性）下IV估计器的收敛性。

实验结果

研究问题

• RQ1 在高维储能问题中，基于工具变量的最小二乘策略迭代是否比标准最小二乘贝尔曼误差最小化更具一致性和准确性？
• RQ2 在具有内生回归变量的随机控制问题中，基于IV的贝尔曼误差最小化与MSPBE最小化之间的理论等价性是否在实践中成立？
• RQ3 基于知识梯度的直接策略搜索在性能上与基于IV或标准LSPI的近似策略迭代相比如何？
• RQ4 能否通过在真实世界数据上应用值迭代，可靠地生成储能问题的最优基准，从而实现对近似动态规划方法的严格评估？
• RQ5 在具有时变电力需求与间歇性风电供应的现实场景中，LSPI结合IV与直接策略搜索之间的性能差距如何？

主要发现

• 基于工具变量的最小二乘策略迭代（IV-LSPI）在策略质量方面显著优于标准最小二乘策略迭代（LSPI），其性能以最优基准为参照。
• 理论分析证明，基于IV的贝尔曼误差最小化在数学上等价于均方误差投影贝尔曼误差（MSPBE）最小化，验证了在近似动态规划中使用IV作为一致估计器的合理性。
• 尽管具有理论优势，IV-LSPI的性能仍逊色于基于知识梯度的直接策略搜索，表明直接策略搜索可能更适用于此类问题。
• 本研究利用实际风电和负荷数据构建了一个真实世界储能测试问题库，支持算法性能的可复现与严格评估。
• 值迭代被成功应用于求解基准问题，生成了作为评估近似方法黄金标准的最优策略。
• 结果凸显了近似策略迭代与直接策略搜索之间的性能差距，提示直接搜索策略可能更适合复杂、高维的储能控制问题。