[论文解读] Approximating the Spectral Sums of Large-scale Matrices using Chebyshev Approximations

In‐Su Han, Dmitry Malioutov+2 more|arXiv (Cornell University)|Jun 3, 2016

Neural Networks and Applications参考文献 39被引用 14

一句话总结

本文提出了一种线性时间的随机算法，通过随机切比雪夫逼近来近似大规模对称矩阵的谱和，结合切比雪夫插值与哈钦森迹估计器。该方法仅需矩阵-向量乘积，对于有界函数范围，在保持常数次矩阵-向量乘积的前提下，可实现ε-乘法误差保证，并能高效计算对数行列式、矩阵逆的迹、埃斯特拉达指数、施瓦茨 p-范数以及正定性检测，适用于维度达数千万的矩阵。

ABSTRACT

Computation of the trace of a matrix function plays an important role in many scientific computing applications, including applications in machine learning, computational physics (e.g., lattice quantum chromodynamics), network analysis and computational biology (e.g., protein folding), just to name a few application areas. We propose a linear-time randomized algorithm for approximating the trace of matrix functions of large symmetric matrices. Our algorithm is based on coupling function approximation using Chebyshev interpolation with stochastic trace estimators (Hutchinson's method), and as such requires only implicit access to the matrix, in the form of a function that maps a vector to the product of the matrix and the vector. We provide rigorous approximation error in terms of the extremal eigenvalue of the input matrix, and the Bernstein ellipse that corresponds to the function at hand. Based on our general scheme, we provide algorithms with provable guarantees for important matrix computations, including log-determinant, trace of matrix inverse, Estrada index, Schatten p-norm, and testing positive definiteness. We experimentally evaluate our algorithm and demonstrate its effectiveness on matrices with tens of millions dimensions.

研究动机与目标

• 为解决大规模矩阵中精确谱和计算的计算不可行性，其计算复杂度随维度呈立方级增长。
• 开发一种仅通过矩阵-向量乘积实现隐式访问矩阵的方法，避免显式分解。
• 基于函数性质和矩阵极值特征值，为谱和近似提供可证明的误差界。
• 实现对数行列式、逆矩阵的迹、埃斯特拉达指数、施瓦茨 p-范数以及正定性检测等关键矩阵函数的高效可扩展计算。
• 在维度达数千万的矩阵上展示方法的有效性，传统方法因计算成本过高而失效。

提出的方法

• 该算法使用切比雪夫插值近似矩阵函数 f(A)，将谱和转化为 A 的多项式迹。
• 将此近似与哈钦森的随机迹估计器相结合，后者通过随机向量估计迹，无需显式存储矩阵。
• 该方法仅依赖矩阵-向量乘积，适用于大规模、稀疏或隐式定义的矩阵。
• 通过与函数 f 相关的伯恩斯坦椭圆推导误差界，将近似精度与函数的解析性及矩阵的极值特征值联系起来。
• 证明当函数在伯恩斯坦椭圆上的取值范围为 Θ(1) 时，达到 ε-乘法误差所需的矩阵-向量乘积数量为常数。
• 该方法被扩展至特定应用，包括通过在无感区间内估计特征值来实现正定性检测。

实验结果

研究问题

• RQ1 能否仅通过矩阵-向量乘积，以可证明的误差界高效近似大规模对称矩阵的谱和？
• RQ2 函数的解析性（通过伯恩斯坦椭圆表示）与达到给定精度所需矩阵-向量乘积数量之间的理论关系是什么？
• RQ3 如何将该算法适配以最小计算开销计算关键矩阵函数，如对数行列式、逆矩阵的迹和施瓦茨 p-范数？
• RQ4 该算法能否在标准方法失效的病态或大规模矩阵上可靠地测试正定性？
• RQ5 该算法在维度达数千万的真实世界矩阵上的实际性能如何？

主要发现

• 当函数在伯恩斯坦椭圆上的取值范围为 Θ(1) 时，该算法以常数次矩阵-向量乘积实现对任意固定 ε > 0 和失败概率的 ε-乘法谱和近似。
• 对于维度达数千万的真实世界矩阵，该方法以高精度和低计算成本成功计算了对数行列式、逆矩阵的迹及其他谱函数。
• 在 n=16,000 的测试矩阵中，该算法在矩阵非过度病态时正确识别了 90% 的正定性，优于常因收敛失败而失效的迭代特征值求解器。
• 在矩阵病态的情况下，该算法仍能提供关于正定性和条件数的有用信息，而楚列斯基分解则变得不可行。
• 该方法高度可并行化，因其仅依赖独立的矩阵-向量乘法，适用于分布式和高性能计算环境。
• 基于佛罗里达大学稀疏矩阵库中的矩阵进行的实证结果证实了该方法在大规模真实问题上的鲁棒性与可扩展性。