[论文解读] A closed-form update for orthogonal matrix decompositions under arbitrary rank-one modifications

Ralf Zimmermann|arXiv (Cornell University)|Nov 22, 2017

Matrix Theory and Algorithms被引用 4

一句话总结

本文提出了一种正交矩阵分解（如SVD和QR）在任意秩一修改下的闭式更新方法，无需重新计算辅助矩阵的SVD或QR，即可高效计算更新后的列正交因子 $U_{\text{new}}$。该方法采用几何方法保持子空间不变性，并可直接计算原始矩阵与修改后矩阵之间的子空间距离。

ABSTRACT

We consider rank-one adaptations $X_{new} = X+ab^T$ of a given matrix $X\in \mathbb{R}^{n imes p}$ with known matrix factorization $X = UW$, where $U\in\mathbb{R}^{n imes p}$ is column-orthogonal, i.e. $U^TU=I$. Arguably the most important methods that produce such factorizations are the singular value decomposition (SVD), where $X=UW=U\Sigma V^T$, and the QR-decomposition, where $X = UW = QR$. By using a geometric approach, we derive a closed-form expression for a column-orthogonal matrix $U_{new}$ whose columns span the same subspace as the columns of the rank-one modified $X_{new} = X +ab^T$. This may be interpreted as a rank-one adaptation of the $U$-factor in the SVD or a rank-one adaptation of the $Q$-factor in the QR-decomposition, respectively. As a consequence, we obtain a decomposition for the adapted matrix $X_{new} = U_{new}W_{new}$. Moreover, the formula for $U_{new}$ allows us to determine the subspace distance between the subspaces colspan$(X) =\mathcal{S}$ and colspan$(X_{new}) =\mathcal{S}_{new}$ without additional computational effort. In contrast to the existing approaches, the method does not require a numerical recomputation of the SVD or the QR-decomposition of an auxiliary matrix as an intermediate step.

研究动机与目标

• 为矩阵分解（如SVD和QR）在秩一修改 $X_{\text{new}} = X + ab^T$ 后的正交因子 $U$ 开发闭式更新公式。
• 避免现有方法中在辅助矩阵上数值重新计算SVD或QR的计算开销。
• 在保持 $U_{\text{new}}$ 列正交性的同时，确保 $U_{\text{new}}$ 张成与 $X_{\text{new}}$ 相同的子空间。
• 实现无需额外计算的原始子空间与修改后子空间之间距离的直接计算。
• 提供一种几何框架，可推广至任意秩一更新，不限于特定矩阵类型或结构。

提出的方法

• 采用几何方法推导 $U_{\text{new}}$ 的闭式表达式，确保其张成与 $X_{\text{new}} = X + ab^T$ 相同的列空间。
• 直接从原始 $U$ 以及秩一更新向量 $a$ 和 $b$ 计算 $U_{\text{new}}$，无需构造或分解辅助矩阵。
• 更新过程保持列正交性，即 $U_{\text{new}}^T U_{\text{new}} = I$ 得到保持。
• 通过投影和子空间扰动理论推导 $U_{\text{new}}$ 的公式，确保数值稳定性和正确性。
• 可使用同一表达式直接评估 $\mathcal{S} = \text{col}(X)$ 与 $\mathcal{S}_{\text{new}} = \text{col}(X_{\text{new}})$ 之间的子空间距离。
• 该方法适用于SVD ($X = U\Sigma V^T$) 和QR ($X = QR$) 分解，将 $U$ 和 $Q$ 统一视为正交因子处理。

实验结果

研究问题

• RQ1 能否为SVD或QR中正交因子 $U$ 在任意秩一修改 $X_{\text{new}} = X + ab^T$ 后推导出闭式更新？
• RQ2 是否可能在不数值重新计算辅助矩阵的SVD或QR的前提下计算 $U_{\text{new}}$？
• RQ3 如何利用更新后的 $U_{\text{new}}$ 高效计算 $\text{col}(X)$ 与 $\text{col}(X_{\text{new}})$ 之间的子空间距离？
• RQ4 在秩一扰动下，正交因子稳定且精确更新的几何原理是什么？
• RQ5 所提方法是否在正确捕捉 $X_{\text{new}}$ 新列空间的同时，保持 $U_{\text{new}}$ 的列正交性？

主要发现

• 本文推导出 $U_{\text{new}}$ 的闭式表达式，可精确张成 $X_{\text{new}} = X + ab^T$ 的列空间，同时保持列正交性。
• 该方法完全避免了在辅助矩阵上数值重新计算SVD或QR，显著降低了计算开销。
• 可直接从推导出的 $U_{\text{new}}$ 计算 $\mathcal{S} = \text{col}(X)$ 与 $\mathcal{S}_{\text{new}} = \text{col}(X_{\text{new}})$ 之间的子空间距离，无需额外计算。
• 几何推导确保了对任意秩一更新的数值稳定性和正确性，无论 $a$ 和 $b$ 的结构如何。
• 该方法具有通用性，通过将 $U$ 和 $Q$ 统一纳入同一框架，可一致适用于SVD和QR分解。
• 该方法在矩阵被逐步修改的在线或流式计算场景中，实现了高效且精确的更新。