[论文解读] Differentiation of the Cholesky decomposition

Iain Murray|arXiv (Cornell University)|Feb 24, 2016

Parallel Computing and Optimization Techniques参考文献 11被引用 21

一句话总结

本文提出了一种基于 Level 3 BLAS 操作的高效、分块算法，用于对 Cholesky 分解进行微分，相较于现有方法，速度最高可提升一个数量级。该方法结合了小矩阵的符号微分与基于 LAPACK 的 DPOTRF 的算法更新，实现了在机器学习和优化中的快速前向和反向自动微分。

ABSTRACT

We review strategies for differentiating matrix-based computations, and derive symbolic and algorithmic update rules for differentiating expressions containing the Cholesky decomposition. We recommend new `blocked' algorithms, based on differentiating the Cholesky algorithm DPOTRF in the LAPACK library, which uses `Level 3' matrix-matrix operations from BLAS, and so is cache-friendly and easy to parallelize. For large matrices, the resulting algorithms are the fastest way to compute Cholesky derivatives, and are an order of magnitude faster than the algorithms in common usage. In some computing environments, symbolically-derived updates are faster for small matrices than those based on differentiating Cholesky algorithms. The symbolic and algorithmic approaches can be combined to get the best of both worlds.

研究动机与目标

• 开发更快、更可扩展的 Cholesky 分解微分方法，该操作在许多统计和机器学习模型中至关重要。
• 解决现有算法方法（如 Smith, 1995 年的方法）的低效问题——这些方法依赖 Level 2 BLAS，对大矩阵而言速度较慢。
• 结合小矩阵的符号微分与大矩阵的算法更新，以在不同矩阵规模下实现最佳性能。
• 在现代机器学习框架中实现高效的前向和反向自动微分，而这些框架目前尚缺乏对 Cholesky 微分的原生支持。
• 倡导在标准线性代数库中引入微分优化的例程，以提升可微编程中的性能和可用性。

提出的方法

• 利用矩阵微积分推导 Cholesky 微分的符号更新规则，为 Cholesky 因子对输入矩阵扰动的敏感性提供精确表达式。
• 提出基于 LAPACK 的 DPOTRF 的分块算法，使用 Level 3 BLAS 操作（如矩阵-矩阵乘法）以提高缓存效率和并行化能力。
• 设计前向和反向微分例程，通过 Cholesky 分解传播敏感性，而无需显式计算 $O(N^4)$ 的雅可比矩阵。
• 通过矩阵的分块划分来组织计算，仅更新矩阵乘积中必要的三角部分，从而最小化冗余计算。
• 将小矩阵的符号更新与大矩阵的算法更新相结合，充分发挥两种方法的优势。
• 使用标准 BLAS 原语实现高效代码，辅以用于更新小三角块的辅助例程，并同时支持前向和反向微分模式。

实验结果

研究问题

• RQ1 如何比现有算法方法（如 Smith, 1995 年的方法）更高效地对 Cholesky 分解进行微分？
• RQ2 与传统的 Level 2 方法相比，使用基于分块和 Level 3 BLAS 的算法对 Cholesky 微分计算的性能影响如何？
• RQ3 能否有效结合符号微分与算法更新，以在不同矩阵规模下实现最佳性能？
• RQ4 为何现有的自动微分工具（如 Theano 和 TensorFlow）无法高效地对 Cholesky 分解进行微分，如何解决此问题？
• RQ5 线性代数库需要做出哪些改变，才能原生支持高性能的矩阵函数（如 Cholesky 分解）微分？

主要发现

• 所提出的基于 Level 3 BLAS 操作的分块算法在大矩阵上比广泛使用的 Smith (1995) 算法快一个数量级。
• 对于小矩阵，符号微分更新比算法更新更快，因此在该规模下更优。
• 将小矩阵的符号更新与大矩阵的分块算法更新相结合，可在不同矩阵规模下实现整体最佳性能。
• 本文推导出的前向和反向微分例程计算效率高，仅需几行代码即可实现。
• 现有的自动微分框架（如 Theano、AutoGrad 和 TensorFlow 的早期版本）不原生支持高效的 Cholesky 微分，限制了在需要该功能的模型中的性能。
• 缺乏标准化的、为微分优化的类似 BLAS 的例程（用于三角矩阵和部分矩阵操作）制约了性能；未来库应填补这一空白。