[论文解读] A Sums-of-Squares Extension of Policy Iterations

Assalé Adjé, Pierre-Loïc Garoche+1 more|arXiv (Cornell University)|Mar 27, 2015

Formal Methods in Verification参考文献 45被引用 4

一句话总结

该论文通过集成平方和（SOS）优化，将策略迭代方法扩展至静态分析，实现了对具有多项式动态和守卫条件的切换系统的精确分析。通过用多项式模板替代二次模板并采用SOS规划，该方法能够计算可达集的越来越紧致的上界逼近，实现收敛，并在非二次系统上相比先前基于线性规划/半定规划（LP/SDP）的方法提升了精度。

ABSTRACT

In order to address the imprecision often introduced by widening operators in static analysis, policy iteration based on min-computations amounts to considering the characterization of reachable value set of a program as an iterative computation of policies, starting from a post-fixpoint. Computing each policy and the associated invariant relies on a sequence of numerical optimizations. While the early research efforts relied on linear programming (LP) to address linear properties of linear programs, the current state of the art is still limited to the analysis of linear programs with at most quadratic invariants, relying on semidefinite programming (SDP) solvers to compute policies, and LP solvers to refine invariants. We propose here to extend the class of programs considered through the use of Sums-of-Squares (SOS) based optimization. Our approach enables the precise analysis of switched systems with polynomial updates and guards. The analysis presented has been implemented in Matlab and applied on existing programs coming from the system control literature, improving both the range of analyzable systems and the precision of previously handled ones.

研究动机与目标

• 通过策略迭代改进不变量计算，以解决静态分析中宽化算子的不精确性。
• 将现有策略迭代框架——此前仅限于线性或二次不变量——扩展至使用平方和（SOS）规划的多项式不变量。
• 实现对具有分段多项式动态和守卫条件的离散时间切换系统的安全上界逼近。
• 提升在传统线性或二次抽象失效的系统中的精度与适用性，例如具有饱和特性的控制器或抗风积控制器。
• 为非线性、分段多项式程序的有界性与安全性验证提供可扩展且收敛的算法。

提出的方法

• 将可达集计算表述为基于多项式模板的策略迭代，取代以往对线性或二次形式的依赖。
• 使用平方和（SOS）规划，将非凸的策略计算转化为一系列凸的半定规划（SDP）。
• 通过对偶性应用最小策略迭代，计算拉格朗日乘子，利用SOS基李雅普诺夫函数推导不变量证书。
• 在策略迭代循环中集成SOS基函数的松弛处理，保留先前工作中保证的收敛性。
• 使用MATLAB实现该算法，结合YALMIP与MOSEK求解SOS与SDP问题，停止准则基于∥F R(wk) − wk∥∞ ≤ 1e–6。
• 采用模板抽象方法：每个抽象状态由多项式表达式的边界定义（例如，x², xy, x⁴），模板次数根据具体示例进行调整。

实验结果

研究问题

• RQ1 策略迭代能否被扩展至二次不变量之外，以处理切换系统中的多项式不变量？
• RQ2 将平方和（SOS）规划集成到策略迭代中，是否能保持收敛性并提升非二次系统的精度？
• RQ3 所提出的SOS基策略迭代方法与先前基于LP/SDP的方法相比，在精度和实际控制系统适用性方面表现如何？
• RQ4 模板次数对SOS策略迭代中的收敛性与数值稳定性有何影响？
• RQ5 该方法能否处理具有非多项式或复杂动态的系统，例如具有饱和或分段非线性特性的系统？

主要发现

• SOS基策略迭代的扩展成功计算了多项式切换系统的可达集的可靠上界逼近，包括具有非二次动态的系统。
• 在示例6.1（三维分段线性系统）中，使用六次模板，方法在一次迭代内达到不动点，边界为[3.7482, 1.8503, 1.0000]。
• 在示例6.2（二维分段线性系统）中，经过六次迭代，使用十次模板，过逼近从[1.8359, 1.3341]减少至[1.4813, 1.2544]。
• 在示例6.3（分段二次系统）中，使用八次模板，一次迭代即达到边界[1.5531, 1.1511]，精度优于先前方法。
• 在示例6.4（三次多项式系统）中，使用十二次模板，收敛至[1.2100, 0.9989]，但更高次模板（10、12）出现数值问题，未能进一步优化。
• 对于某些高次模板（如示例6.1与6.3中的八次、十次、十二次模板），方法未能收敛，主要由于内点SDP求解器的数值不稳定性。