[论文解读] Exploiting Numerical Sparsity for Efficient Learning : Faster Eigenvector Computation and Regression

Neha Gupta, Aaron Sidford|arXiv (Cornell University)|Nov 27, 2018

Matrix Theory and Algorithms被引用 5

一句话总结

本文通过利用数据矩阵中的数值稀疏性，提出了更快的主特征向量计算与回归算法。它在SVRG中引入坐标采样，并设计了新型的线性代数数据结构，实现了仅依赖于输入规模和自然数值度量（如特征值、ℓ₁/ℓ₂ 范数）的改进运行时间，显著优于许多情形下的先前方法。

ABSTRACT

In this paper, we obtain improved running times for regression and top eigenvector computation for numerically sparse matrices. Given a data matrix $A \in \mathbb{R}^{n imes d}$ where every row $a \in \mathbb{R}^d$ has $\|a\|_2^2 \leq L$ and numerical sparsity at most $s$, i.e. $\|a\|_1^2 / \|a\|_2^2 \leq s$, we provide faster algorithms for these problems in many parameter settings. For top eigenvector computation, we obtain a running time of $ ilde{O}(nd + r(s + \sqrt{r s}) / \mathrm{gap}^2)$ where $\mathrm{gap} > 0$ is the relative gap between the top two eigenvectors of $A^ op A$ and $r$ is the stable rank of $A$. This running time improves upon the previous best unaccelerated running time of $O(nd + r d / \mathrm{gap}^2)$ as it is always the case that $r \leq d$ and $s \leq d$. For regression, we obtain a running time of $ ilde{O}(nd + (nL / μ) \sqrt{s nL / μ})$ where $μ> 0$ is the smallest eigenvalue of $A^ op A$. This running time improves upon the previous best unaccelerated running time of $ ilde{O}(nd + n L d / μ)$. This result expands the regimes where regression can be solved in nearly linear time from when $L/μ= ilde{O}(1)$ to when $L / μ= ilde{O}(d^{2/3} / (sn)^{1/3})$. Furthermore, we obtain similar improvements even when row norms and numerical sparsities are non-uniform and we show how to achieve even faster running times by accelerating using approximate proximal point [Frostig et. al. 2015] / catalyst [Lin et. al. 2015]. Our running times depend only on the size of the input and natural numerical measures of the matrix, i.e. eigenvalues and $\ell_p$ norms, making progress on a key open problem regarding optimal running times for efficient large-scale learning.

研究动机与目标

• 通过利用数据矩阵中的数值稀疏性，为大规模学习中的主特征向量计算与回归问题开发更快的算法。
• 减少运行时间对条件数与行稀疏性等问题参数的依赖，超越脆弱的稀疏性度量。
• 在比以往已知更广泛的参数范围内实现近乎线性时间性能。
• 提供仅依赖于输入规模与内在数值量（如特征值与ℓ_p 范数）的运行时间，解决高效学习中的一个关键开放问题。

提出的方法

• 将坐标采样技术应用于有限和优化中的随机方差缩减梯度下降（SVRG），实现更快的梯度计算。
• 为特征向量计算设计了新型的线性代数数据结构，提升了稀疏环境下的效率。
• 使用逐元素矩阵稀疏化方法，以稀疏矩阵Â近似AᵀA，确保在指定误差界内的谱近似。
• 采用近似邻近点与催化剂加速技术，进一步加快回归与特征向量问题中的收敛速度。
• 利用由比值‖aᵢ‖₁² / ‖aᵢ‖₂² ≤ s 定义的数值稀疏性（s为每行的数值稀疏性），以降低迭代成本。
• 推导出运行时间界，其规模依赖于稳定秩r、数值稀疏性s与谱间隙，而非最坏情况下的d或均匀稀疏性。

实验结果

研究问题

• RQ1 我们能否通过利用数值稀疏性而非仅结构稀疏性，实现回归与主特征向量计算的更快运行时间？
• RQ2 在哪些参数范围内，我们可以实现回归与特征向量计算的近乎线性时间算法？
• RQ3 如何设计迭代算法，使其迭代成本仅依赖于自然的数值矩阵度量（如特征值与ℓ₁/ℓ₂ 范数）？
• RQ4 在SVRG中使用坐标采样是否能为学习中的有限和问题带来可证明更快的收敛速度，超越标准随机方法？

主要发现

• 对于主特征向量计算，该算法实现了Õ(nd + r(s + √(rs))/gap²)的运行时间，优于先前最优的O(nd + rd/gap²)，显著降低了对d与s的依赖。
• 对于回归，运行时间为Õ(nd + (nL/μ)√(snL/μ))，优于先前最优的Õ(nd + nLd/μ)，并将近乎线性时间的适用范围扩展至L/μ = Õ(d²ᐟ³ / (sn)¹ᐟ³)。
• 运行时间仅依赖于输入规模、稳定秩r、数值稀疏性s、谱间隙与特征值参数，避免了脆弱的加权稀疏性度量。
• 即使在行范数与数值稀疏性非均匀的情况下，该方法依然有效，并可通过催化剂与近似邻近点加速实现进一步提速。
• 结果表明，数值稀疏性可实现可证明的更快收敛，解决了大规模学习中最优迭代方法的关键开放问题。