[论文解读] Decomposing Real Square Matrices via Unitary Diagonalization

Théo Trouillon, Christopher R. Dance+2 more|arXiv (Cornell University)|May 23, 2016

Blind Source Separation Techniques参考文献 9被引用 4

一句话总结

本文提出了一种新颖的分解方法，将任意实平方矩阵表示为酉对角化复矩阵的实部，从而为非对称矩阵实现低秩且唯一的向量表示。核心贡献在于证明了每个实平方矩阵都是某个正规矩阵的实部，这使得酉对角化成为可能，并为机器学习和符号秩逼近提供了应用基础。

ABSTRACT

Diagonalization, or eigenvalue decomposition, is very useful in many areas of applied mathematics, including signal processing and quantum physics. Matrix decomposition is also a useful tool for approximating matrices as the product of a matrix and its transpose, which relates to unitary diagonalization. As stated by the spectral theorem, only normal matrices are unitarily diagonalizable. However we show that all real square matrices are the real part of some unitarily diagonalizable matrix.

研究动机与目标

• 为解决仅对称矩阵可正交对角化这一局限性，该局限性限制了机器学习中唯一向量表示的实现。
• 通过复酉对角化实现对非对称实平方矩阵的低秩分解。
• 为在复空间中通过低维酉对角化表示符号矩阵提供理论基础。
• 证明矩阵的符号秩对应于秩至多为符号秩两倍的酉对角化。
• 通过复共轭和酉变换将矩阵分解推广至对称矩阵和正规矩阵之外。

提出的方法

• 为任意实平方矩阵 $ A $ 定义复矩阵 $ X = A + iA^T $，并证明其为正规矩阵。
• 利用谱定理对 $ X = S\Lambda S^* $ 进行酉对角化，其中 $ S $ 为酉矩阵，$ \Lambda $ 为对角矩阵。
• 通过取实部恢复 $ A $：$ A = \mathrm{Re}(S\Lambda S^*) $，从而实现任意实平方矩阵的分解。
• 证明对于秩为 $ k $ 的实矩阵 $ A $，仅需 $ 2k $ 维酉对角化即可重构 $ A $。
• 将该框架应用于符号矩阵，证明任意符号秩为 $ k $ 的符号矩阵可由 $ 2k $ 维酉对角化重构。
• 利用符号函数将实矩阵映射为符号矩阵，从而将分解与符号秩等复杂性度量联系起来。

实验结果

研究问题

• RQ1 每个实平方矩阵是否都能表示为某个酉对角化复矩阵的实部？
• RQ2 重构一个秩为 $ k $ 的实平方矩阵所需的酉对角化最小维度是多少？
• RQ3 符号秩为 $ k $ 的符号矩阵能否通过秩至多为 $ 2k $ 的酉对角化重构？
• RQ4 是否可能使用复对角化实现对非对称矩阵的唯一低秩向量嵌入？
• RQ5 为何酉对角化的秩超过矩阵本身的秩，其结构原因是什么？

主要发现

• 每个实平方矩阵 $ A \in \mathbb{R}^{n \times n} $ 都可表示为 $ A = \mathrm{Re}(S\Lambda S^*) $，其中 $ S $ 为酉矩阵，$ \Lambda $ 为对角矩阵，证明了此类分解的存在性。
• 复矩阵 $ X = A + iA^T $ 为正规矩阵，确保了酉对角化成立，且其实部为 $ A $。
• 对于秩为 $ k $ 的实矩阵 $ A $，仅需 $ 2k $ 维酉对角化即可重构 $ A $，建立了所需维度的紧致上界。
• 任意符号矩阵 $ Y \in \{-1,1\}^{n \times n} $ 若符号秩为 $ k $，则可表示为 $ Y = \mathrm{sign}(\mathrm{Re}(S\Lambda S^*)) $，并由 $ 2k $ 维酉对角化重构。
• 该分解不唯一，但即使对于非正规或非对称矩阵，仍能捕捉到有意义的低秩表示。
• 一个秩为1的符号矩阵示例显示其对角线元素符号模式不一致，证明不存在秩为1的酉对角化，从而在某些情况下表明 $ 2k $ 的界限是紧致的。