[论文解读] An Introduction to Total Least Squares

Peter De Groen|ArXiv.org|May 18, 1998

Statistical and numerical algorithms参考文献 2被引用 78

一句话总结

本文将总最小二乘法（TLS）作为普通最小二乘法的自然推广，其中数据矩阵和右端向量均受误差影响。它结合列空间与行空间的几何洞察，通过奇异值分解（SVD）求解TLS问题，表明即使在所有数据分量（包括回归中的截距）均存在误差时，TLS仍能提供最佳拟合直线或超平面，并可处理‘冻结’列以保持结构约束（如回归中的截距）。

ABSTRACT

The method of ``Total Least Squares'' is proposed as a more natural way (than ordinary least squares) to approximate the data if both the matrix and and the right-hand side are contaminated by ``errors''. In this tutorial note, we give a elementary unified view of ordinary and total least squares problems and their solution. As the geometry underlying the problem setting greatly contributes to the understanding of the solution, we introduce least squares problems and their generalization via interpretations in both column space and (the dual) row space and we shall use both approaches to clarify the solution. After a study of the least squares approximation for simple regression we introduce the notion of approximation in the sense of ``Total Least Squares (TLS)'' for this problem and deduce its solution in a natural way. Next we consider ordinary and total least squares approximations for multiple regression problems and we study the solution of a general overdetermined system of equations in TLS-sense. In a final section we consider generalizations with multiple right-hand sides and with ``frozen'' columns. We remark that a TLS-approximation needs not exist in general; however, the line (or hyperplane) of best approximation in TLS-sense for a regression problem does exist always.

研究动机与目标

• 为了在数据矩阵和右端向量均受误差影响时，激励并阐明总最小二乘法（TLS）作为普通最小二乘法的自然延伸。
• 通过列空间与行空间中的双重解释（对偶方法），统一理解普通最小二乘法与总最小二乘法。
• 展示如何利用奇异值分解（SVD）推导TLS解，尤其针对超定系统与回归问题。
• 将TLS扩展至某些列（如回归中的常数项）已知无误差的‘冻结’列情形。
• 建立TLS解存在的条件，特别是在线性回归与多重右端向量的情境下。

提出的方法

• 将TLS问题表述为：在满足 b + r 属于 A + E 的像空间的条件下，最小化组合扰动矩阵 (E|r) 的Frobenius范数。
• 采用对偶方法，将数据点视为 R^m 中的向量，并通过最小化到子空间的欧氏距离，导出正交投影与基于SVD的解。
• 对增广矩阵 (A|b) 应用SVD以计算TLS解，其中最小奇异向量对应于最小扰动。
• 对于含冻结列的问题，通过QR或SVD将不确定列正交化于固定列，将问题约化为在固定子空间正交补空间中的低维TLS子问题。
• 通过将扰动最小化推广至块矩阵，并对扰动系统应用SVD，求解多重右端向量的TLS问题。
• 通过将矩阵分解为固定部分与不确定部分，并在固定子空间的正交补空间中求解约化TLS问题，推导出含冻结列的一般TLS问题 A X = B 的解。

实验结果

研究问题

• RQ1 当数据矩阵和右端向量均受测量误差影响时，为何总最小二乘法是普通最小二乘法的更自然推广？
• RQ2 如何利用列空间与行空间中的双重解释，从几何角度推导并理解TLS解？
• RQ3 奇异值分解（SVD）在计算TLS解中起什么作用？它与最小化扰动范数有何关联？
• RQ4 如何将TLS框架适应于某些列（如回归中的截距列）已知无误差的情形？
• RQ5 TLS解存在的条件是什么？其存在性如何依赖于数据矩阵与右端向量的结构？

主要发现

• 即使自变量与因变量中均存在误差，回归问题的TLS解始终存在，并对应于总最小二乘意义下的最佳拟合直线或超平面。
• 对于超定系统 A X = B 的TLS问题，解通过计算增广矩阵 (A|B) 的SVD获得，并选取对应于最小奇异值的右奇异向量。
• 对于含冻结列（如线性回归中的常数项）的问题，可通过将不确定列相对于固定列正交化，并在正交补空间中求解约化TLS问题，从而恢复TLS解。
• 当矩阵 A₁（冻结部分）不满列秩时，固定部分 X₁ 的解不唯一；任何解均可通过加上 A₁ 的零空间基的线性组合进行调整。
• TLS公式中，扰动矩阵 (E|r) 的Frobenius范数被最小化，且当扰动与增广矩阵最小奇异值对应的右奇异向量对齐时达到最小值。
• 对偶方法——将数据视为 R^m 中的向量并最小化到子空间的距离——为TLS解提供了几何解释，并统一了对普通最小二乘法与总最小二乘法的理解。