[论文解读] A geometric note on subspace updates and orthogonal matrix decompositions under rank-one modifications

Ralf Zimmermann|arXiv (Cornell University)|Nov 22, 2017

Matrix Theory and Algorithms参考文献 18被引用 4

一句话总结

本文提出了一种几何框架，用于在原始矩阵发生秩一修改时，高效地更新正交矩阵分解（如SVD或QR）。通过将子空间更新建模为格拉斯曼流形上的测地线路径，推导出 $ U_{\text{new}} $ 和 $ W_{\text{new}} $ 的闭式解，时间复杂度为 $ \mathcal{O}(np) $，实现了精确且稳定的子空间追踪，计算开销极小。

ABSTRACT

In this work, we consider rank-one adaptations $X_{new} = X+ab^T$ of a given matrix $X\in \mathbb{R}^{n imes p}$ with known matrix factorization $X = UW$, where $U\in\mathbb{R}^{n imes p}$ is column-orthogonal, i.e. $U^TU=I$. Arguably the most important methods that produce such factorizations are the singular value decomposition (SVD), where $X=UW=UΣV^T$, and the QR-decomposition, where $X = UW = QR$. An elementary approach to produce a column-orthogonal matrix $U_{new}$, whose columns span the same subspace as the columns of the rank-one modified $X_{new} = X +ab^T$ is via applying a suitable coordinate change such that in the new coordinates, the update affects a single column and subsequently performing a Gram-Schmidt step for reorthogonalization. This may be interpreted as a rank-one adaptation of the $U$-factor in the SVD or a rank-one adaptation of the $Q$-factor in the QR-decomposition, respectively, and leads to a decomposition for the adapted matrix $X_{new} = U_{new}W_{new}$. By using a geometric approach, we show that this operation is equivalent to traveling from the subspace $\mathcal{S}= ext{ran}(X)$ to the subspace $\mathcal{S}_{new} = ext{ran}(X_{new})$ on a geodesic line on the Grassmann manifold and we derive a closed-form expression for this geodesic. In addition, this allows us to determine the subspace distance between the subspaces $\mathcal{S}$ and $\mathcal{S}_{new}$ without additional computational effort. Both $U_{new}$ and $W_{new}$ are obtained via elementary rank-one matrix updates in $\mathcal{O}(np)$ time for $n\gg p$.

研究动机与目标

• 开发一种数值稳定且高效的方法，用于在原始矩阵发生秩一修改时更新正交矩阵分解（如SVD、QR）。
• 建立子空间更新在格拉斯曼流形上作为测地线路径的几何解释，以实现精确的子空间追踪。
• 推导出更新后的正交因子 $ U_{\text{new}} $ 和权值矩阵 $ W_{\text{new}} $ 的闭式表达式，确保正交性与子空间不变性。
• 实现无需额外代价的 $ \operatorname{ran}(X) $ 与 $ \operatorname{ran}(X_{\text{new}}) $ 之间子空间距离的直接计算。
• 通过提供可扩展且数值鲁棒的更新方案，支持自适应模型降阶、计算机视觉和信号处理等应用。

提出的方法

• 将秩一更新 $ X_{\text{new}} = X + ab^T $ 建模为格拉斯曼流形上的测地线运动，由一个秩一的切向量 $ \Delta $ 参数化。
• 通过坐标变换将更新简化为单列的重新正交化步骤，利用新基下的类似Gram-Schmidt的重新正交化方法。
• 推导出 $ U_{\text{new}} = U + (\alpha U w + \beta q) w^T $ 和 $ W_{\text{new}} = W + (U^T a + \gamma w) b^T $，其中 $ q $ 是 $ a $ 在 $ \operatorname{ran}(X) $ 正交补空间中的归一化分量，$ w $ 是行空间中的归一化方向。
• 通过 $ \operatorname{Sdist} = \arccos\left( \frac{|\omega|}{\|g\|} \right) $ 计算子空间距离，其中 $ \omega $ 和 $ g $ 由更新的几何结构导出。
• 使用标准BLAS Level-2操作（如DGER）实现更新，确保高效性并兼容高性能线性代数库。
• 通过检测子空间不变性，处理退化情况（如 $ a \in \operatorname{ran}(X) $），并返回原始分解，仅对 $ W_{\text{new}} $ 进行相应调整。

实验结果

研究问题

• RQ1 如何在格拉斯曼流形上几何地解释对已知正交分解矩阵的秩一更新？
• RQ2 更新后的正交因子 $ U_{\text{new}} $ 的闭式表达式是什么，能保持正交性并张成新的列空间？
• RQ3 是否可以无需额外矩阵分解，高效计算原始子空间与更新后子空间之间的子空间距离？
• RQ4 如何仅使用基本的秩一操作实现更新，以保持计算效率？
• RQ5 格拉斯曼流形上的切向量与秩一修改 $ ab^T $ 的结构之间存在何种关系？

主要发现

• 当 $ n \gg p $ 时，正交因子 $ U $ 和权值矩阵 $ W $ 的更新可在 $ \mathcal{O}(np) $ 时间内完成，适用于大规模问题，具有高度效率。
• 更新后的矩阵 $ X_{\text{new}} = U_{\text{new}} W_{\text{new}} $ 精确保持 $ X_{\text{new}} $ 的列空间，且 $ U_{\text{new}} $ 具有标准正交列。
• 子空间距离 $ \operatorname{ran}(X) $ 与 $ \operatorname{ran}(X_{\text{new}}) $ 由 $ \operatorname{Sdist} = \arccos\left( \frac{|\omega|}{\|g\|} \right) $ 给出，可直接从更新参数计算得出。
• 该方法可推广至SVD与QR分解，通过将 $ U $ 和 $ Q $ 统一视为张成相同子空间的列正交矩阵。
• 更新公式具有数值稳定性，且与标准BLAS例程兼容，可无缝集成至高性能数值计算流水线。
• 当 $ a \in \operatorname{ran}(X) $ 时，该方法能正确检测子空间不变性，并返回 $ U_{\text{new}} = U $，仅对 $ W_{\text{new}} $ 进行权值矩阵的更新。