[论文解读] Error Bounds for Random Matrix Approximation Schemes

Alex Gittens, Joel A. Tropp|ArXiv.org|Nov 20, 2009

Matrix Theory and Algorithms参考文献 18被引用 19

一句话总结

本论文首次为随机矩阵稀疏化方案在 ∞→1 和 ∞→2 算子范数下建立了误差界，采用基于方差的集中性分析与 Lataàa 的谱范数误差结果。该研究提供了最优且通用的误差估计，适用于一大类独立、无偏的随机近似方案，其性能保证与以往针对特定方案的分析相比具有竞争力。

ABSTRACT

Randomized matrix sparsification has proven to be a fruitful technique for producing faster algorithms in applications ranging from graph partitioning to semidefinite programming. In the decade or so of research into this technique, the focus has been--with few exceptions--on ensuring the quality of approximation in the spectral and Frobenius norms. For certain graph algorithms, however, the $(\infty,1)$ norm may be a more natural measure of performance. This paper addresses the problem of approximating a real matrix A by a sparse random matrix X with respect to several norms. It provides the first results on approximation error in the $(\infty, 1)$ and $(\infty, 2)$ norms, and it uses a result of Latala to study approximation error in the spectral norm. These bounds hold for random sparsification schemes which ensure that the entries of X are independent and average to the corresponding entries of A. Optimality of the $(\infty, 1)$ and $(\infty,2)$ error estimates is established. Concentration results for the three norms hold when the entries of X are uniformly bounded. The spectral error bound is used to predict the performance of several sparsification and quantization schemes that have appeared in the literature; the results are competitive with the performance guarantees given by earlier scheme-specific analyses.

研究动机与目标

• 解决随机矩阵近似在 ∞→1 和 ∞→2 算子范数下缺乏理论误差界的问题，这两类范数在图稀疏化与列子集选择中至关重要。
• 为满足独立且无偏条件的随机矩阵近似方案，提供通用且与分布无关的误差界。
• 在给定的随机稀疏化框架下，证明所推导的 ∞→1 和 ∞→2 范数误差估计的最优性。
• 利用 Lataàa 的结果扩展现有的谱范数误差分析，推导出谱范数近似误差的紧致且最优的界。
• 证明通用误差界可产生与先前工作（如 [AHK06], [AM07]）中特定方案分析相媲美甚至更优的性能保证。

提出的方法

• 通过列与行方向的 ℓ2 范数分解，推导期望 ∞→1 范数误差界：E‖A−X‖∞→1 ≤ 2[E‖Z‖col + E‖Zᵀ‖col]，其中 Z = A−X。
• 利用弗罗贝尼乌斯范数与对角缩放矩阵 D 推导 ∞→2 范数误差界：E‖A−X‖∞→2 ≤ 2E‖Z‖F + 2 min_D E‖ZD⁻¹‖2→∞，其中 trace(D²)=1。
• 应用 Lataàa 的结果，推导出最优的谱范数误差界：E‖A−X‖ ≤ C[max_j(∑_k Var(X_jk))^{1/2} + max_k(∑_j Var(X_jk))^{1/2} + (∑_jk E(X_jk−a_jk)^4)^{1/4}]。
• 利用次高斯集中性分析，在有界条目假设下，推导 ∞→1、∞→2 与谱范数下近似误差的尾部界。
• 通过将通用界应用于已知方案（如 Achlioptas–McSherry 稀疏化与 Arora–Hazan–Kale 量化/稀疏化）验证其有效性。
• 通过条目幅值与条目扩散度（R = max |b/a_jk|）优化稀疏化概率，以在保持误差界的同时最小化期望非零条目数。

实验结果

研究问题

• RQ1 随机矩阵稀疏化在 ∞→1 和 ∞→2 算子范数下的期望误差界是什么？
• RQ2 在具有独立、无偏条目的通用随机稀疏化方案下，能否为这些范数推导出最优误差界？
• RQ3 所推导的谱范数误差界与 [AHK06] 和 [AM07] 中特定方案分析的结果相比如何？
• RQ4 通用误差界能否用于分析并指导新型稀疏化与量化方案的设计？
• RQ5 在所提出的框架下，近似误差与稀疏性（期望非零条目数）之间的权衡是什么？

主要发现

• 本论文首次提供了 ∞→1 范数期望误差的通用界：E‖A−X‖∞→1 ≤ 2[∑_k(∑_j Var(X_jk))^{1/2} + ∑_j(∑_k Var(X_jk))^{1/2}]。
• 首次建立了 ∞→2 范数期望误差的通用界：E‖A−X‖∞→2 ≤ 2(∑_jk Var(X_jk))^{1/2} + 2√m min_D max_j(∑_k Var(X_jk)/d_k²)^{1/2}，其中 trace(D²)=1。
• 通过 Lataàa 的结果证明谱范数误差界为最优，其形式为 E‖A−X‖ ≤ C[max_j(∑_k Var(X_jk))^{1/2} + max_k(∑_j Var(X_jk))^{1/2} + (∑_jk E(X_jk−a_jk)^4)^{1/4}]。
• 对于 Achlioptas–McSherry 稀疏化方案，通用界可导出高概率下误差为 O(b√(n/p))，与特定方案结果一致，但概率更高且期望非零条目更少。
• 对于 Arora–Hazan–Kale 量化/稀疏化方案，通用界可恢复高概率下 O(δ) 的误差，与特定方案保证一致，但推导更具通用性。
• 在新概率方案下，近似矩阵中非零条目的期望数量被最小化，满足 ∑_jk p_jk ≤ pnm × Avg[(a_jk/b)^2]，优于先前方案。