[论文解读] Automatic Differentiation for Complex Valued SVD

Zhou‐Quan Wan, Shi‐Xin Zhang|arXiv (Cornell University)|Sep 4, 2019

Computational Physics and Python Applications参考文献 1被引用 4

一句话总结

本文推导了复数奇异值分解（SVD）的反向模式自动微分（AD）公式，填补了复张量网络AD基础设施中的关键空白。主要贡献在于梯度公式中引入了一项新项——$\bar{\boldsymbol{A}}_d = \frac{1}{2} U S^{-1} (\boldsymbol{L}^\top - \boldsymbol{L}) V^\top$——该新项源于复分析结构，在实SVD中无对应项，从而实现了在涉及复张量的量子物理与机器学习应用中准确的反向传播。

ABSTRACT

In this note, we report the back propagation formula for complex valued singular value decompositions (SVD). This formula is an important ingredient for a complete automatic differentiation(AD) infrastructure in terms of complex numbers, and it is also the key to understand and utilize AD in tensor networks.

研究动机与目标

• 解决复数奇异值分解（SVD）在反向模式自动微分（AD）支持方面的缺失，这是复张量网络AD基础设施中的关键空白。
• 在涉及复矩阵的优化流程中实现梯度计算，特别是在复张量常见的量子物理与机器学习应用中。
• 提供复SVD反向传播公式的数学严谨推导，包括规范不变性与非全纯依赖关系的处理。
• 通过识别复矩阵函数的正确梯度表达式，确保推导公式在数值上稳定且与现有AD框架兼容。
• 通过提供复数运算的完整且正确的梯度公式，促进SVD在可微张量网络模型中的集成。

提出的方法

• 使用复分析方法推导复SVD的反向模式AD梯度，聚焦于实值损失函数，并通过Wirtinger导数定义梯度。
• 应用链式法则于SVD分解$A = USV^\top$，由于酉约束，将$U$、$S$与$V$的微分表示为反对厄米矩阵的形式。
• 引入辅助矩阵$\boldsymbol{J} = F \bigcirc (U^\top \bar{U})$、$\boldsymbol{K} = F \bigcirc (V^\top \bar{V})$与$\boldsymbol{L} = I \bigcirc (V^\top \bar{V})$，其中$F_{ij} = \frac{1}{s_j^2 - s_i^2}$（$i \neq j$），以捕捉非对角线贡献。
• 识别出由于复变量实值函数的非全纯性而产生的新项$\bar{\boldsymbol{A}}_d = \frac{1}{2} U S^{-1} (\boldsymbol{L}^\top - \boldsymbol{L}) V^\top$。
• 利用规范不变性与迹恒等式推导一致性条件，确保梯度对SVD分解中相位模糊性不敏感。
• 通过$\bar{\boldsymbol{A}} = 2 (\bar{\boldsymbol{A}}^*)$将导数表达式转化为梯度形式，针对实值损失函数，得到方程（1）中的最终公式。

实验结果

研究问题

• RQ1 复数SVD的正确反向模式自动微分公式是什么，特别是在实值损失函数的背景下？
• RQ2 由于复变量实值函数的非全纯性，复SVD的梯度与其实值对应项有何不同？
• RQ3 规范不变性在复SVD梯度推导中起什么作用？它如何约束梯度表达式的结构？
• RQ4 为何项$\frac{1}{2} U S^{-1} (\boldsymbol{L}^\top - \boldsymbol{L}) V^\top$是必要且在实SVD中缺失的？其出现背后的物理或数学原理是什么？
• RQ5 如何构建一个有效的测试损失函数，以确保在实践中新梯度项被激活并正确计算？

主要发现

• 本文推导出复数SVD的完整反向模式自动微分公式，其关键创新在于识别出一项新梯度项$\bar{\boldsymbol{A}}_d = \frac{1}{2} U S^{-1} (\boldsymbol{L}^\top - \boldsymbol{L}) V^\top$，该新项源于复分析结构。
• 该新项在实SVD中无对应项，且在损失函数以非规范方式依赖于$U$与$V$矩阵时，对正确梯度计算至关重要。
• 推导表明梯度在相位规范变换下保持不变，且通过辅助矩阵$\bar{U}^T U + \bar{V}^T V - \text{c.c.}$的规范不变性条件强制保证公式的自洽性。
• 通过在平方情形基础上增加两项，该公式可推广至长方形矩阵，这两项用于描述SVD子空间的非正交补空间。
• 若损失函数仅依赖于$U$或仅依赖于$V$，则项$\bar{\boldsymbol{A}}_d$消失，表明激活新项需$U$与$V$的联合依赖。
• 所推导的公式可实现复张量网络中准确高效的反向传播，支持量子多体物理与复值模型的可微机器学习应用。