[论文解读] Reduction of the Number of Variables in Parametric Constrained Least-Squares Problems

Alberto Bemporad, Gionata Cimini|arXiv (Cornell University)|Dec 18, 2020

Advanced Control Systems Optimization被引用 5

一句话总结

本文提出了一种数值鲁棒的方法，通过结合专用于消除等式约束的QR分解与一种新型的$K$-SVD技术，来减少参数化约束最小二乘（pCLS）问题中的变量数量，尤其适用于模型预测控制（MPC）。该方法利用无监督学习和神经分类器将参数空间划分为$K$个区域，每个区域通过一组主成分进行近似。该方法在计算复杂度显著降低的同时，性能与精确解几乎无法区分。

ABSTRACT

For linearly constrained least-squares problems that depend on a vector of parameters, this paper proposes techniques for reducing the number of involved optimization variables. After first eliminating equality constraints in a numerically robust way by QR factorization, we propose a technique based on singular value decomposition (SVD) and unsupervised learning, that we call $K$-SVD, and neural classifiers to automatically partition the set of parameter vectors in $K$ nonlinear regions in which the original problem is approximated by using a smaller set of variables. For the special case of parametric constrained least-squares problems that arise from model predictive control (MPC) formulations, we propose a novel and very efficient QR factorization method for equality constraint elimination. Together with SVD or $K$-SVD, the method provides a numerically robust alternative to standard condensing and move blocking, and to other complexity reduction methods for MPC based on basis functions. We show the good performance of the proposed techniques in numerical tests and in a linearized MPC problem of a nonlinear benchmark process.

研究动机与目标

• 为解决在嵌入式模型预测控制（MPC）应用中求解参数化约束最小二乘（pCLS）问题时的高计算复杂度挑战。
• 与标准压缩方法相比，提升等式约束消除过程中的数值稳定性，尤其适用于不稳定系统。
• 在超越标准压缩与移动阻塞的基础上，通过利用参数相关结构进一步减少优化变量数量。
• 开发一种数据驱动的离线方法，将参数空间划分为若干区域，使得在每个区域内可使用低维近似。
• 在变量减少后仍保持pCLS结构，确保简化后的问题可使用标准QP求解器求解。

提出的方法

• 采用专用QR分解消除MPC中pCLS问题的等式约束，相比标准压缩方法在数值稳定性方面表现更优，尤其适用于不稳定动力学系统。
• $K$-SVD算法将标准SVD扩展至在参数空间的不同区域识别出$K$组独立的主成分集合，实现局部低秩近似。
• 通过$K$-SVD进行无监督聚类，将参数向量空间划分为$K$个非线性区域，每个区域关联一组独特的主成分基。
• 训练具有三组隐藏层及S型激活函数的神经分类器，将每个参数向量映射到其对应簇，实现实时选择合适的基函数。
• 通过所选基向量的线性组合求解降阶问题，并添加松弛变量以处理不可行性，确保鲁棒性。
• 该方法保持了原始pCLS问题的凸性结构，使得可使用标准QP求解器高效求解。

实验结果

研究问题

• RQ1 能否为基于MPC的pCLS问题中等式约束消除，开发出一种数值稳定于标准压缩方法的替代方案？
• RQ2 能否在保持解质量的前提下，将优化变量数量减少至超越移动阻塞与压缩方法的水平？
• RQ3 能否有效利用无监督学习与神经分类技术，将参数空间划分为具有独立低维近似的区域？
• RQ4 基于$K$-SVD的近似方法在实际MPC应用中是否能保持与精确解相近的性能？
• RQ5 该方法在时变或不稳定系统中应用时，是否仍能保持数值稳定性？

主要发现

• 所提出的基于QR的等式约束消除方法在数值稳定性方面优于标准压缩方法，尤其在不稳定系统中表现更优。
• $K$-SVD方法将优化变量数从$n=3$减少至$m=2$，同时使性能指标$J_{\text{ksvd}}$与精确解$J_{\text{exact}}$在数值上无法区分。
• 在闭环仿真步长中，神经分类器正确识别了对应基函数的比例达到90%，如图7所示；分区结果在$(T_r, C_A)$空间中清晰分离出不同的动态区域（图8）。
• 训练10类神经分类器耗时1271秒，每类包含281个系数，实现了对参数向量的高精度实时分类。
• 基于$K$-SVD的MPC性能在定量上与精确解完全一致，$J_{\text{ksvd}}$在数值容差范围内与$J_{\text{exact}}$完全匹配。
• 与直接采用2变量解法（$J_{\text{exact,2}}$）相比，该方法通过自适应基选择避免了固定低秩近似带来的性能下降。