[论文解读] Approximating Orthogonal Matrices with Effective Givens Factorization

Thomas Frerix, Joan Bruna|arXiv (Cornell University)|May 14, 2019

Matrix Theory and Algorithms参考文献 13被引用 7

一句话总结

该论文提出了一种在正交群上诱导稀疏性的优化方法，通过最少数量的Givens旋转（每个作用于一个2D子空间）来近似酉矩阵。通过在流形上应用坐标下降并引入L1类势能函数，该方法在图拉普拉斯矩阵等结构化矩阵上实现了O(d log d)数量级的因子分解，显著优于多种真实图上的基线方法。

ABSTRACT

We analyze effective approximation of unitary matrices. In our formulation, a unitary matrix is represented as a product of rotations in two-dimensional subspaces, so-called Givens rotations. Instead of the quadratic dimension dependence when applying a dense matrix, applying such an approximation scales with the number factors, each of which can be implemented efficiently. Consequently, in settings where an approximation is once computed and then applied many times, such a representation becomes advantageous. Although effective Givens factorization is not possible for generic unitary operators, we show that minimizing a sparsity-inducing objective with a coordinate descent algorithm on the unitary group yields good factorizations for structured matrices. Canonical applications of such a setup are orthogonal basis transforms. We demonstrate numerical results of approximating the graph Fourier transform, which is the matrix obtained when diagonalizing a graph Laplacian.

研究动机与目标

• 开发一种高效的正交矩阵近似方法，以降低重复应用时的计算成本。
• 解决使用少量Givens旋转（即局部2D旋转）近似酉算子的挑战。
• 探究结构化矩阵（特别是源自图拉普拉斯矩阵的矩阵）是否能实现具有次二次复杂度的高效Givens因子分解。
• 通过稀疏性促进的优化框架，改进现有的贪心法与雅可比法在图傅里叶变换上的近似方法。

提出的方法

• 将Givens因子分解问题表述为在正交群U(d)上的优化问题，通过最小化稀疏性诱导势能函数f(U) = ||U||₁来实现酉矩阵的近似。
• 利用酉群上的梯度流定义一条从目标矩阵U到最近的带符号置换矩阵的路径，该矩阵是群中稀疏性最强的元素。
• 应用以Givens旋转为生成元的坐标下降法，近似跟踪该路径，通过迭代逐步优化因子分解。
• 通过流形优化与L1型正则化，将原本NP难的组合选择问题进行松弛化处理。
• 采用贪心基线与束搜索变体进行性能比较，L1算法在多个真实图上表现更优。
• 在合成的植入因子矩阵与真实世界图拉普拉斯矩阵上验证该方法，通过对称Frobenius范数衡量近似误差。

实验结果

研究问题

• RQ1 尽管通用酉矩阵需要Ω(d²/log d)个因子才能实现有效近似，结构化正交矩阵是否能通过O(d log d)个Givens旋转实现有效近似？
• RQ2 在正交群上最小化L1类势能函数，是否能为图傅里叶变换带来优于贪心法或雅可比法的Givens因子分解？
• RQ3 目标矩阵的稀疏性与坐标下降算法在寻找低秩Givens近似时的成功率之间存在何种关系？
• RQ4 在哪些图或矩阵类别中，该稀疏性诱导方法优于传统方法（如截断雅可比法或贪心选择）？
• RQ5 该方法能否通过保持动态Givens因子分解，扩展至时变算子（如优化中的演化Hessian矩阵）？

主要发现

• 所提出的基于L1的坐标下降算法在明尼苏达州（Minnesota）、人类蛋白质（HumanProtein）和电子邮件（EMail）图上，均优于贪心基线，对称Frobenius范数下的近似误差更低。
• 在具有∼0.25n(n−1)/2条边的Barabási-Albert图中，当n=512和n=2014时，L1方法优于贪心基线；但在n=1024时，某些情况下贪心法表现更优。
• 在真实图上，当使用n log₂(n)个因子时，L1算法在明尼苏达州（2642个顶点）、人类蛋白质（3133个顶点）和电子邮件（1133个顶点）网络中均实现了最低的近似误差。
• 该方法成功以O(d log d)个Givens因子近似了图傅里叶变换，表明结构化矩阵可在稀疏矩阵范式之外实现高效因子分解。
• 理论分析表明，通用酉矩阵实现有效近似需要Ω(d²/log d)个Givens因子，凸显了结构在实现高效因子分解中的关键作用。
• 对L1算法的束搜索扩展在仅增加轻微计算开销的情况下提升了性能，表明在搜索空间中仍存在进一步优化的潜力。