[论文解读] Direct Methods for Solving Positive Definite Total Least Squares Problems Using Orthogonal Matrix Decompositions

Negin Bagherpour, Nezam Mahdavi‐Amiri|arXiv (Cornell University)|Jul 5, 2014

Statistical and numerical algorithms参考文献 15被引用 2

一句话总结

本文提出了一种直接求解正定总体最小二乘问题的方法，通过最小化一种新型误差函数，该误差函数同时考虑了数据矩阵和目标矩阵中的误差。利用正交矩阵分解，该方法无需迭代优化即可直接计算解，相较于内点法和二次规划方法，实现了更低的误差标准差和有效秩。

ABSTRACT

The need to estimate a positive definite solution to an overdetermined linear system of equations with multiple right hand side vectors arises in several process control contexts. The coefficient and the right hand side matrices are respectively named data and target matrices. A number of optimization methods were proposed for solving such problems, in which the data matrix is unrealistically assumed to be error free. Here, considering error in measured data and target matrices, we present an approach to solve a positive definite constrained linear system of equations based on the use of a newly defined error function. To minimize the defined error function, we derive necessary and sufficient optimality conditions and outline a direct algorithm to compute the solution. We provide a comparison of our proposed approach and two existing methods, the interior point method and a method based on quadratic programming. Two important characteristics of our proposed method as compared to the existing methods are computing the solution directly and considering error both in data and target matrices. Moreover, numerical test results show that the new approach leads to smaller standard deviations of error entries and smaller effective rank as desired by control problems. Furthermore, in a comparative study, using the Dolan-More performance profiles, we show the approach to be more efficient.

研究动机与目标

• 解决现有方法在具有多个右端项的超定线性系统中假设数据矩阵无误差的局限性。
• 构建一种新的误差函数，以考虑数据矩阵和目标矩阵中的不确定性。
• 开发一种直接算法，用于在不依赖迭代优化的情况下计算正定解。
• 确保解满足由新误差函数推导出的必要且充分的最优性条件。
• 在误差分布和有效秩方面，展示相较于成熟方法的改进数值性能。

提出的方法

• 定义一种新的误差函数，用于量化在数据矩阵和目标矩阵均存在扰动时的总体最小二乘误差。
• 推导在正定约束下最小化所提误差函数的必要且充分的最优性条件。
• 利用正交矩阵分解（如QR或类似SVD的结构）将问题转化为适合直接计算的形式。
• 构建一种直接算法，通过单次遍历计算解，避免内点法或二次规划方法中典型的收敛步骤。
• 通过在正交分解框架内实施约束优化，确保解的正定性。
• 通过在求解过程中利用正交变换的结构，确保数值稳定性和效率。

实验结果

研究问题

• RQ1 当数据矩阵和目标矩阵均含有测量误差时，如何为超定线性系统计算正定解？
• RQ2 在该类系统中，何种形式的误差函数能恰当地考虑数据矩阵和目标矩阵中的不确定性？
• RQ3 能否从新误差函数的最优性条件中推导出直接算法，以避免使用迭代求解器？
• RQ4 在误差分布和有效秩方面，所提方法与内点法和二次规划方法相比，在准确性和效率上表现如何？
• RQ5 新方法是否如过程控制应用中所要求的那样，产生更小的误差项标准差和更低的有效秩？

主要发现

• 所提方法可直接计算正定解，避免了内点法和二次规划方法中使用的迭代修正步骤。
• 数值实验表明，新方法在误差项标准差方面优于现有方法。
• 该方法得到的解具有更低的有效秩，这在控制系统设计中是理想的。
• 基于Dolan-More框架的性能分析表明，所提方法在效率上优于内点法和二次规划方法。
• 推导出的最优性条件既是必要也是充分的，确保误差函数收敛至全局最小值。