[论文解读] A Convex Programming Approach to Data-Driven Risk-Averse Reinforcement Learning

Yuzhen Han, Majid Mazouchi+2 more|arXiv (Cornell University)|Mar 26, 2021

Adaptive Dynamic Programming Control参考文献 49被引用 4

一句话总结

本论文提出了一种基于凸规划的强化学习框架，用于离散时间非线性系统的风险规避最优控制，利用事先收集的数据避免在线探索。该方法提出了三种算法——静态凸规划、值迭代和策略迭代，每种算法均能保证收敛至风险规避最优策略，并提供理论误差界，仿真结果表明其在稳定性与方差减少方面显著优于风险中性方法。

ABSTRACT

This paper presents a model-free reinforcement learning (RL) algorithm to solve the risk-averse optimal control (RAOC) problem for discrete-time nonlinear systems. While successful RL algorithms have been presented to learn optimal control solutions under epistemic uncertainties (i.e., lack of knowledge of system dynamics), they do so by optimizing the expected utility of outcomes, which ignores the variance of cost under aleatory uncertainties (i.e., randomness). Performance-critical systems, however, must not only optimize the expected performance, but also reduce its variance to avoid performance fluctuation during RL's course of operation. To solve the RAOC problem, this paper presents the following three variants of RL algorithms and analyze their advantages and preferences for different situations/systems: 1) a one-shot static convex program -based RL, 2) an iterative value iteration (VI) algorithm that solves a linear programming (LP) optimization at each iteration, and 3) an iterative policy iteration (PI) algorithm that solves a convex optimization at each iteration and guarantees the stability of the consecutive control policies. Convergence of the exact optimization problems, which are infinite-dimensional in all three cases, to the optimal risk-averse value function is shown. To turn these optimization problems into standard optimization problems with finite decision variables and constraints, function approximation for value estimations as well as constraint sampling are leveraged. Data-driven implementations of these algorithms are provided based on Q-function which enables learning the optimal value without any knowledge of the system dynamics. The performance of the approximated solutions is also verified through a weighted sup-norm bound and the Lyapunov bound. A simulation example is provided to verify the effectiveness of the presented approach.

研究动机与目标

• 解决标准强化学习在关键性能系统中忽略随机不确定性导致方差问题的局限性。
• 开发无需系统动力学模型的无模型、数据驱动强化学习算法，同时优化期望成本及其方差。
• 利用凸优化技术确保风险规避控制设置下学习策略的稳定性与收敛性。
• 为函数逼近与约束采样在实际实现中的近似质量提供理论误差界。
• 实现从预先收集的数据集中学习，无需在线交互，支持在自主系统中的实际部署。

提出的方法

• 采用熵风险度量公式化风险规避最优控制问题，联合最小化期望成本及其方差。
• 通过利用事先数据中采样的约束，构建单次求解的静态凸规划，以近似无限维优化问题。
• 提出一种迭代值迭代算法，每步求解一个线性规划，确保收敛至风险规避值函数。
• 引入一种策略迭代算法，每轮迭代求解一个凸优化问题，并保证连续控制策略的稳定性。
• 采用傅里叶基函数进行函数逼近，以降低值函数估计的维度。
• 利用约束采样技术，将无限维凸规划转化为有限维标准凸优化问题。

实验结果

研究问题

• RQ1 能否设计一种无模型、数据驱动的强化学习算法，在不依赖系统动力学知识的前提下求解风险规避最优控制问题？
• RQ2 如何利用凸规划技术确保非线性系统中风险规避强化学习的收敛性与稳定性？
• RQ3 函数逼近与约束采样对所学风险规避策略的准确性有何影响？
• RQ4 与风险中性强化学习相比，所提方法在性能方差与鲁棒性方面表现如何？
• RQ5 能否有效利用离线数据集训练出稳定、低方差的控制策略，而无需在线探索？

主要发现

• 所提出的基于单次凸规划的强化学习方法，在采样约束数量足够多时，能够收敛至最优风险规避值函数，如在 N = 1e7 个样本时性能趋近最优解所示。
• 仿真结果表明，风险规避情形（α = 5）的性能方差显著低于风险中性情形，如图3中更紧密的状态轨迹所示。
• 当 N ≥ 9e⁴ 个采样约束时，近似误差最小化，且解估计的方差显著降低，证实了约束采样的有效性。
• 值迭代与策略迭代算法均收敛至最优解，其中策略迭代变体保证了所学控制策略的稳定性。
• 为函数逼近与约束采样建立了理论误差界，为近似质量提供了严谨基础。
• 该方法通过避免非凸优化并降低对超参数调优的敏感性，优于现有方法，尤其在基于策略梯度的替代方案中表现更优。