[论文解读] Compression, inversion, and approximate PCA of dense kernel matrices at near-linear computational complexity

Florian Schäfer, T. J. Sullivan+1 more|arXiv (Cornell University)|Jun 7, 2017

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

该论文提出了一种近线性时间复杂度的算法，用于压缩、求逆以及对来自平滑协方差函数的稠密核矩阵执行近似主成分分析（PCA）。通过基于空间配置识别稀疏稀疏模式，并应用零填充不完全Cholesky分解，该方法在时间复杂度为 O(N log²N log²d(N/ε))、空间复杂度为 O(N log N logd(N/ε)) 的条件下，实现了 ε-近似矩阵压缩与求逆，且具有可证明的指数级精度和最优的PCA收敛速率。

ABSTRACT

Dense kernel matrices $\\Theta \\in \\mathbb{R}^{N \ imes N}$ obtained from point evaluations of a covariance function $G$ at locations $\\{ x_{i} \\}_{1 \\leq i \\leq N} \\subset \\mathbb{R}^{d}$ arise in statistics, machine learning, and numerical analysis. For covariance functions that are Green's functions of elliptic boundary value problems and homogeneously-distributed sampling points, we show how to identify a subset $S \\subset \\{ 1 , \\dots , N \\}^2$, with $\\# S = O ( N \\log (N) \\log^{d} ( N /\\epsilon ) )$, such that the zero fill-in incomplete Cholesky factorisation of the sparse matrix $\\Theta_{ij} 1_{( i, j ) \\in S}$ is an $\\epsilon$-approximation of $\\Theta$. This factorisation can provably be obtained in complexity $O ( N \\log( N ) \\log^{d}( N /\\epsilon) )$ in space and $O ( N \\log^{2}( N ) \\log^{2d}( N /\\epsilon) )$ in time, improving upon the state of the art for general elliptic operators; we further present numerical evidence that $d$ can be taken to be the intrinsic dimension of the data set rather than that of the ambient space. The algorithm only needs to know the spatial configuration of the $x_{i}$ and does not require an analytic representation of $G$. Furthermore, this factorization straightforwardly provides an approximate sparse PCA with optimal rate of convergence in the operator norm. Hence, by using only subsampling and the incomplete Cholesky factorization, we obtain, at nearly linear complexity, the compression, inversion and approximate PCA of a large class of covariance matrices. By inverting the order of the Cholesky factorization we also obtain a solver for elliptic PDE with complexity $O ( N \\log^{d}( N /\\epsilon) )$ in space and $O ( N \\log^{2d}( N /\\epsilon) )$ in time, improving upon the state of the art for general elliptic operators.

研究动机与目标

• 解决在统计学、机器学习和偏微分方程（PDEs）中常见的稠密核矩阵运算中 O(N³) 的计算瓶颈问题。
• 开发一种无需依赖核函数解析形式即可实现稠密核矩阵近似线性时间复杂度求逆与压缩的方法。
• 提供一种可证明精度的、数据自适应的算法，能够自动利用数据中的内在低维结构。
• 仅通过子采样和不完全Cholesky分解，实现近似PCA的最优收敛速率以及椭圆型PDE的快速求解器。
• 通过消除对消失矩条件和局部平均化的需求，推广算子自适应小波和gamblet变换。

提出的方法

• 仅基于采样点的空间配置，识别出大小为 O(N log N logd(N/ε)) 的稀疏稀疏模式 S ⊂ {1,…,N}²。
• 对稀疏矩阵 Θ_ij 1_{(i,j)∈S} 应用零填充不完全Cholesky分解，该方法可证明地在算子范数下以 ε 精度逼近完整的稠密核矩阵 Θ。
• 利用算子自适应小波理论和筛选效应的理论结果，无需核函数 G 的解析表达式即可证明稀疏模式选择的合理性。
• 利用Cholesky分解因子 L，直接计算具有最优算子范数收敛速率的近似稀疏PCA。
• 通过反转Cholesky分解的消去顺序，构建椭圆型PDE的快速直接求解器，时间复杂度为 O(N log²d(N/ε))，空间复杂度为 O(N logd(N/ε))。
• 采用分层、数据驱动的方法，自适应于数据集的内在维度 d，而非环境维度。

实验结果

研究问题

• RQ1 能否在不依赖核函数解析形式的前提下，以近线性时间复杂度对来自平滑协方差函数的稠密核矩阵实现压缩与求逆？
• RQ2 对精心选择的稀疏模式进行稀疏Cholesky分解，是否能以可证明精度提供对完整稠密核矩阵的 ε-近似？
• RQ3 此类稀疏模式的不完全Cholesky分解能否提供具有最优算子范数收敛速率的近似PCA？
• RQ4 能否通过反转同一分解过程，得到复杂度优于现有方法的椭圆型PDE快速直接求解器？
• RQ5 该算法在高环境维度下是否具有鲁棒性，同时能自动利用数据的内在维度？

主要发现

• 该算法在 O(N log²N log²d(N/ε)) 时间和 O(N log N logd(N/ε)) 空间内实现了稠密核矩阵的 ε-近似压缩与求逆，显著优于标准Cholesky分解的 O(N³) 复杂度。
• 所选稀疏模式 S 的稀疏Cholesky分解可提供在算子范数下具有最优收敛速率的近似PCA。
• 该方法无需了解核函数 G 的解析形式，仅需采样点的空间配置信息。
• 数值证据表明，复杂度中的指数 d 可被替换为数据集的内在维度，而非环境维度。
• 该算法实现了时间复杂度为 O(N log²d(N/ε))、空间复杂度为 O(N logd(N/ε)) 的椭圆型PDE快速直接求解器，推动了该领域的技术前沿。
• 该方法通过消除对消失矩条件和局部平均化的需求，推广了gamblet变换，从而具备更广泛的应用潜力。