[论文解读] Matrix Decomposition and Applications

Jun Lü|arXiv (Cornell University)|Jan 1, 2022

Matrix Theory and Algorithms被引用 11

一句话总结

本文对矩阵分解技术进行了全面的理论与应用探索，将经典的LU、QR、SVD和Cholesky分解与现代扩展方法如CUR、插值分解和秩揭示分解统一起来。通过引入双共轭分解和Wedderburn序列，建立了一个新框架，推导并证明了关键分解（包括SVD）之间的等价性，其基础是基于正交变换和矩阵分解的递归秩约减过程。

ABSTRACT

In 1954, Alston S. Householder published Principles of Numerical Analysis, one of the first modern treatments on matrix decomposition that favored a (block) LU decomposition-the factorization of a matrix into the product of lower and upper triangular matrices. And now, matrix decomposition has become a core technology in machine learning, largely due to the development of the backpropagation algorithm in fitting a neural network. The sole aim of this survey is to give a self-contained introduction to concepts and mathematical tools in numerical linear algebra and matrix analysis in order to seamlessly introduce matrix decomposition techniques and their applications in subsequent sections. However, we clearly realize our inability to cover all the useful and interesting results concerning matrix decomposition, given the paucity of scope to present this discussion, e.g., the separated analysis of the Euclidean space, Hermitian space, Hilbert space, and things in the complex domain. We refer the reader to literature in the field of linear algebra for a more detailed introduction to the related fields.

研究动机与目标

• 提供一个统一的理论框架，连接经典与现代的矩阵分解技术。
• 为各种分解（尤其是秩揭示和选主元策略下）建立严格的存 在性与计算条件。
• 通过Wedderburn序列递归，证明SVD与双共轭分解之间的等价性。
• 为求解线性系统、低秩逼近以及机器学习与优化中的数据提炼提供实用工具。
• 弥合理论矩阵分析与数据科学、神经网络及高维分析等实际应用之间的鸿沟。

提出的方法

• 通过Wedderburn序列实现递归秩约减：Ak+1 = Ak − w−1k Akxky⊤k Ak。
• 应用双共轭分解，结合双基X与Y，将A表示为AXW−1Y⊤A，实现结构化的低秩逼近。
• 利用正交变换——Householder反射与Givens旋转——实现稳定且数值鲁棒的分解。
• 通过设定Xn = Vsvd、Yn = Usvd与Ωn = Σsvd，建立双共轭分解与SVD之间的等价性。
• 在LU与QR分解中引入完全、掠夺者（rook）和部分选主元策略，实现秩揭示，提升数值稳定性。
• 应用该框架，通过关于递归定义的向量uk与vk的归纳法，推导出Wedderburn序列的一般项公式。

实验结果

研究问题

• RQ1 如何通过Wedderburn序列将SVD作为双共轭分解框架下的特例推导出来？
• RQ2 在何种条件下，LU分解（含与不含置换）存在，特别是对于前导主子式非零的矩阵？
• RQ3 如RRQR与CUR等秩揭示分解如何与更广泛的矩阵因子分解及低秩逼近框架相联系？
• RQ4 Wedderburn序列在推广秩一更新与秩约减过程方面，在各类矩阵分解中起何作用？
• RQ5 双共轭分解如何统一SVD、极分解与Schur分解等看似不同的分解形式？

主要发现

• 正式证明SVD是双共轭分解的特例，当Xn = Vsvd且Yn = Usvd，且Ωn = Σsvd时成立。
• Wedderburn序列具有通项公式：Ak = A − ∑k−1i=1 w−1i Aui v⊤i A，其中向量ui与vi为递归定义。
• 证明了矩阵A⊤A可因式分解为R⊤R，其中Ωn = Ω1/2n Ω1/2n，且由于A非奇异，Ωn为正定矩阵。
• 通过验证当Xn = Vsvd且Yn = Usvd时Y⊤n AXn = Σsvd，确认了双共轭分解与SVD之间的等价性。
• 从分解中导出正交矩阵Q = VnΩ−1/2n，证实SVD推导中变换的正交性。
• 推广了秩约减定理：rank(A − AXW−1Y⊤A) = rank(A) − rank(AXW−1Y⊤A)，将秩一情形扩展至k维更新。