[论文解读] Fast Approximation of Rotations and Hessians matrices

Michaël Mathieu, Yann LeCun|arXiv (Cornell University)|Apr 29, 2014

Matrix Theory and Algorithms参考文献 10被引用 22

一句话总结

该论文提出了一种基于类似FFT结构的线性对数数量Givens旋转的快速、可学习的旋转矩阵与Hessian矩阵近似方法，实现了对称矩阵运算的高效计算。该方法在矩阵-向量乘积和逆运算中达到O(n log n)的时间复杂度，显著降低了大规模机器学习应用（如高斯过程推理和二阶优化）中的计算成本。

ABSTRACT

A new method to represent and approximate rotation matrices is introduced. The method represents approximations of a rotation matrix $Q$ with linearithmic complexity, i.e. with $\frac{1}{2}n\lg(n)$ rotations over pairs of coordinates, arranged in an FFT-like fashion. The approximation is "learned" using gradient descent. It allows to represent symmetric matrices $H$ as $QDQ^T$ where $D$ is a diagonal matrix. It can be used to approximate covariance matrix of Gaussian models in order to speed up inference, or to estimate and track the inverse Hessian of an objective function by relating changes in parameters to changes in gradient along the trajectory followed by the optimization procedure. Experiments were conducted to approximate synthetic matrices, covariance matrices of real data, and Hessian matrices of objective functions involved in machine learning problems.

研究动机与目标

• 为解决机器学习中大型对称矩阵（如协方差矩阵和Hessian矩阵）求逆与应用的高计算成本问题。
• 开发一种参数化、可学习的旋转矩阵表示方法，其复杂度为线性对数级，而非二次级。
• 实现Hessian矩阵的高效近似，以支持二阶优化与贝叶斯推断。
• 通过高效近似协方差矩阵，减轻高斯混合模型与变分推断中的计算负担。
• 在随机梯度下降优化过程中，支持Hessian近似的可扩展、实时追踪。

提出的方法

• 将旋转矩阵Q参数化为n log n / 2个基本Givens旋转的乘积，这些旋转作用于坐标对，并按类似快速傅里叶变换（FFT）的蝴蝶结构排列。
• 将对称矩阵H表示为H = Q D Q^T，其中D为对角矩阵，Q为学习得到的旋转矩阵，从而实现高效的矩阵-向量乘法与求逆运算。
• 使用随机梯度下降学习旋转参数，通过最小化近似矩阵与目标矩阵之间的最小二乘误差。
• 通过将参数更新δu与优化轨迹上的梯度变化δg关联，将该方法应用于Hessian矩阵的近似。
• 通过聚合互不重叠的迷你批量（minibatches）中的梯度，将方法扩展至迷你批量训练，同时保持Hessian近似的一致性。
• 利用反向传播高效计算Hessian近似相对于旋转参数的梯度，同时保持O(n log n)的复杂度。

实验结果

研究问题

• RQ1 是否能够通过O(n log n)操作量的结构化、可学习旋转矩阵，以足够精度近似大型对称矩阵（如Hessian矩阵与协方差矩阵）？
• RQ2 将Givens旋转按类似FFT的蝴蝶结构排列，是否能提供足够密集的近似空间以表示复杂的矩阵结构？
• RQ3 是否能够仅通过参数更新与梯度变化，在优化过程中有效学习并追踪Hessian近似？
• RQ4 在高维设置下，该方法在计算成本与内存使用方面相比完整矩阵运算的扩展性如何？
• RQ5 该近似在高斯模型与二阶优化中的推理速度提升程度如何？

主要发现

• 该方法在矩阵-向量乘法与求逆运算中达到O(n log n)复杂度，将计算成本从O(n²)降低至O(n log n)。
• Hessian近似可在O(n log n)时间内计算与求导，从而支持高效的二阶优化。
• 实验验证表明，学习得到的旋转矩阵在合成数据、真实数据的协方差矩阵以及Hessian矩阵上均实现了良好的近似质量。
• 该方法通过保持不同互不重叠迷你批量间梯度的一致性，支持高效的迷你批量学习，实现可扩展训练。
• 每次迭代的总计算开销约为12n log n + 3n次操作，Hessian矩阵及其梯度的内存使用量为4n log n + 2n个参数。
• 该方法在推理任务中尤为有效，当矩阵近似可预先计算并重复使用时，例如在高斯混合模型与贝叶斯推断中。