[论文解读] Iterative Row Sampling

Mu Li, Gary L. Miller+1 more|arXiv (Cornell University)|Nov 12, 2012

Stochastic Gradient Optimization Techniques参考文献 4被引用 5

一句话总结

该论文提出了一种用于求解 tall and thin 矩阵（$n \gg d$）回归问题的迭代行采样算法，实现了输入稀疏性时间复杂度：对任意 $\theta > 0$，复杂度为 $O(\mathrm{nnz}(A) + d^{\omega+\theta}\epsilon^{-2})$。通过交替计算低秩逼近和精炼杠杆率估计，该方法在迭代过程中几何级地减小矩阵规模，从而在理论上保证了解的准确性，相较于以往的单遍方法具有更优的理论保证。

ABSTRACT

There has been significant interest and progress recently in algorithms that solve regression problems involving tall and thin matrices in input sparsity time. These algorithms find shorter equivalent of a n*d matrix where n >> d, which allows one to solve a poly(d) sized problem instead. In practice, the best performances are often obtained by invoking these routines in an iterative fashion. We show these iterative methods can be adapted to give theoretical guarantees comparable and better than the current state of the art. Our approaches are based on computing the importances of the rows, known as leverage scores, in an iterative manner. We show that alternating between computing a short matrix estimate and finding more accurate approximate leverage scores leads to a series of geometrically smaller instances. This gives an algorithm that runs in $O(nnz(A) + d^{ω+ θ} ε^{-2})$ time for any $θ> 0$, where the $d^{ω+ θ}$ term is comparable to the cost of solving a regression problem on the small approximation. Our results are built upon the close connection between randomized matrix algorithms, iterative methods, and graph sparsification.

研究动机与目标

• 弥合实际迭代算法与 tall and thin 矩阵回归中理论保证之间的差距。
• 设计一种通过动态杠杆率估计持续减小矩阵规模同时保持精度的方法。
• 实现运行时间与最先进单遍算法相当或更优，尤其在 $\ell_2$ 和 $\ell_1$ 回归设置下。
• 在回归背景下，形式化随机矩阵算法、迭代方法与图稀疏化之间的联系。
• 为实践中迭代采样的经验成功提供理论基础，特别是在大规模数据分析中。

提出的方法

• 该算法在使用行采样从 $\mathbf{A}$ 构建短矩阵逼近 $\mathbf{B}$ 与基于 $\mathbf{B}$ 精炼近似杠杆率之间交替进行。
• 通过 $\ell_p$-范数逼近估计杠杆率，其中 $p \in [1,2]$，从而实现鲁棒且高效的采样概率计算。
• 利用 $\tilde{\mathbf{A}}$ 和 $\mathbf{C}$ 构造一个条件良好的基，确保 $\|\mathbf{A}\mathbf{C}\mathbf{x}\|_p \approx \|\tilde{\mathbf{A}}\mathbf{C}\mathbf{x}\|_p$ 在常数因子内。
• 该方法采用固定点迭代过程，使每轮迭代中行数几何级减少，从而在矩阵规模上实现双重指数收敛。
• 最终矩阵 $\mathbf{B}$ 包含 $O(d^{4\sqrt{2}-2+\theta})$ 行，对任意 $\theta > 0$，在 $p=2$ 时最小化渐近行数。
• 通过矩阵集中与范数等价性推导理论保证，表明 $\|\mathbf{A}\mathbf{x} - \mathbf{b}\|_p$ 在 $1+\epsilon$ 因子内被保留。

实验结果

研究问题

• RQ1 通过自适应杠杆率估计的迭代行采样能否实现与单遍算法相当或更优的理论运行时间界限？
• RQ2 在 $p \in [1,2]$ 下，为保持 $\ell_p$ 回归精度，缩减矩阵中行数的最优值是多少？
• RQ3 如何形式化随机矩阵算法、迭代方法与图稀疏化之间的联系，以提升回归性能？
• RQ4 通过迭代精炼杠杆率实现的几何行缩减能否带来比现有输入稀疏性方法更优的可证明更快算法？
• RQ5 在迭代采样下，$\ell_2$ 和 $\ell_1$ 回归可实现的最小行数是多少，且具有理论保证？

主要发现

• 该算法在任意 $\theta > 0$ 下运行时间为 $O(\mathrm{nnz}(A) + d^{\omega+\theta}\epsilon^{-2})$，与最佳已知理论界限相当或更优。
• 在 $\ell_2$ 回归中，该方法实现了 $O(d^{4\sqrt{2}-2+\theta})$ 行数（对任意 $\theta > 0$），在 $p' = \sqrt{2}$ 时达到最小化。
• 该方法在迭代中实现了矩阵规模的双重指数缩减，从而快速收敛至 $\mathrm{poly}(d)$ 大小的实例。
• 该方法为 $\ell_2$ 和 $\ell_1$ 回归均提供了理论保证，其中 $\ell_1$ 情况依赖于 $p \in [1,2]$ 的 $\ell_p$-范数逼近。
• 该框架可推广至所有 $p \in [1,2]$，对 $p \geq 4$ 推导出的行数为 $O(d^{\sqrt{8/p} - 2})$。
• 该方法形式化并解释了实践中迭代采样的经验成功，为大规模数据分析中其应用提供了理论基础。