[论文解读] Risk Sensitive, Nonlinear Optimal Control: Iterative Linear Exponential-Quadratic Optimal Control with Gaussian Noise

Farbod Farshidian, Jonas Buchli|arXiv (Cornell University)|Dec 22, 2015

Motor Control and Adaptation参考文献 3被引用 16

一句话总结

本文提出 ILEG，一种用于风险敏感非线性最优控制的迭代算法，通过引入指数二次型代价函数扩展了顺序线性-二次（SLQ）方法，以捕捉性能的高阶统计特性。通过调节风险敏感参数 σ，ILEG 可生成高增益反馈控制器（σ > 0 时）或鲁棒前馈规划（σ < 0 时），从而在随机不确定性下实现性能与鲁棒性之间的权衡。

ABSTRACT

In this contribution, we derive ILEG, an iterative algorithm to find risk sensitive solutions to nonlinear, stochastic optimal control problems. The algorithm is based on a linear quadratic approximation of an exponential risk sensitive nonlinear control problem. ILEG allows to find risk sensitive policies and thus generalizes previous algorithms to solve nonlinear optimal control based on iterative linear-quadratic methods. Depending on the setting of the parameter controlling the risk sensitivity, two different strategies on how to cope with the risk emerge. For positive-value parameters, the control policy uses high feedback gains whereas for negative-value parameters, it uses a robust feedforward control strategy (a robust plan) with low gains. These results are illustrated with a simple example. This note should be considered as a preliminary report.

研究动机与目标

• 为解决标准 SLQ 方法因确定性等价原理而忽略过程噪声统计特性的局限性。
• 开发一种迭代算法，通过风险敏感控制将性能指标的高阶矩（特别是方差与偏度）纳入考虑。
• 将迭代 LQ 方法推广至显式具备风险敏感性的非线性随机最优控制问题。
• 证明风险敏感参数 σ 在控制策略设计中控制着反馈增益与鲁棒性之间的根本权衡。

提出的方法

• 该算法对原始非线性随机最优控制问题采用顺序线性-二次逼近。
• 在每次迭代中构建一个局部线性-指数-二次（LEG）问题，其中代价函数为二次函数的指数形式。
• 风险敏感参数 σ 通过指数变换控制代价函数中高阶矩（方差、偏度）的影响。
• 每个 LEG 子问题的解通过动态规划求解，利用线性系统在指数二次代价下已知的解析解。
• 通过反复求解这些 LEG 子问题，迭代更新控制策略与状态轨迹，直至收敛。
• 该方法通过允许 σ ≠ 0，推广了标准 SLQ 方法，其中 σ = 0 时可恢复传统 SLQ 解。

实验结果

研究问题

• RQ1 如何将迭代 LQ 方法扩展至非线性随机系统中的风险敏感控制？
• RQ2 风险敏感参数 σ 在不确定性下对控制策略行为起何作用？
• RQ3 与标准 SLQ 相比，所提出的 ILEG 算法在反馈增益与鲁棒性方面有何不同？
• RQ4 ILEG 在不同 σ 值下的稳定性与收敛性特性如何？
• RQ5 ILEG 是否能根据 σ 的符号与大小生成根本不同的控制策略（如刚性反馈 vs. 鲁棒前馈）？

主要发现

• 当 σ 为正值时，控制器采用高反馈增益以降低方差，从而产生刚性、响应迅速的控制策略。
• 当 σ 为负值时，控制器采用较低增益并强调鲁棒前馈规划，从而生成更安全、更保守的轨迹。
• 在连续悬崖世界示例中，该算法仅经少数几次迭代即实现收敛，表现出计算高效性。
• 在测试示例中，σ 的上限为 50；超过此值，控制器变得不稳定，表明风险敏感度调节存在关键约束。
• 负 σ 时路径波动范围（误差带）更宽，反映出更高的系统不确定性；而正 σ 时路径更紧凑、更精确。
• 当 σ = 0 时，ILEG 算法退化为标准 SLQ，确认其与现有方法的一致性。