[论文解读] Low Rank Matrix-Valued Chernoff Bounds and Applications

Avner Magen, Anastasios Zouzias|arXiv (Cornell University)|May 18, 2010

Sparse and Compressive Sensing Techniques被引用 1

一句话总结

本文引入低秩矩阵值切尔诺夫不等式，以实现谱范数下矩阵乘法的高效、高概率近似。通过使用非均匀行采样或随机线性组合，该方法的误差界仅依赖于输入矩阵的稳定秩，显著提升了低秩和结构化矩阵的可扩展性和准确性。

ABSTRACT

In this paper we develop algorithms for approximating matrix multiplication with respect to the spectral norm. Let A\in{\RR^{n imes m}} and B\in\RR^{n imes p} be two matrices and \eps>0. We approximate the product A^ op B using two down-sampled sketches, ilde{A}\in\RR^{t imes m} and ilde{B}\in\RR^{t imes p}, where t\ll n such that orm{ ilde{A}^ op ilde{B} - A^ op B} \leq \eps orm{A} orm{B} with high probability. We use two different sampling procedures for constructing ilde{A} and ilde{B}; one of them is done by i.i.d. non-uniform sampling rows from A and B and the other is done by taking random linear combinations of their rows. We prove bounds that depend only on the intrinsic dimensionality of A and B, that is their rank and their stable rank; namely the squared ratio between their Frobenius and operator norm. For achieving bounds that depend on rank we employ standard tools from high-dimensional geometry such as concentration of measure arguments combined with elaborate \eps-net constructions. For bounds that depend on the smaller parameter of stable rank this technology itself seems weak. However, we show that in combination with a simple truncation argument is amenable to provide such bounds. To handle similar bounds for row sampling, we develop a novel matrix-valued Chernoff bound inequality which we call low rank matrix-valued Chernoff bound. Thanks to this inequality, we are able to give bounds that depend only on the stable rank of the input matrices...

研究动机与目标

• 开发针对谱范数的矩阵乘法高效近似算法。
• 通过采样或对输入矩阵的行进行压缩来降低计算成本，同时保持精度。
• 推导仅依赖于输入矩阵固有维度——特别是稳定秩——的误差界。
• 克服现有集中化技术在处理低秩或结构化矩阵时的局限性。
• 建立一种专为低秩场景设计的新颖矩阵值切尔诺夫不等式。

提出的方法

• 该方法采用两种不同的压缩过程：从矩阵 A 和 B 中进行独立同分布的非均匀行采样，以及行的随机线性组合。
• 引入一种新的低秩矩阵值切尔诺夫不等式，以分析近似乘积的谱范数误差。
• 利用测度集中与 epsilon 网构造方法，推导出依赖于矩阵秩的界。
• 应用截断论证，将基于秩的界推广至更稳健的稳定秩参数。
• 理论分析结合高维几何与矩阵集中不等式，以确保高概率下的误差保证。
• 该方法确保 ||ÃᵀB̃ − AᵀB|| ≤ ε||A|| ||B|| 以高概率成立，其中 t ≪ n。

实验结果

研究问题

• RQ1 是否可以仅依赖于输入矩阵的稳定秩，实现谱范数误差界依赖于稳定秩的矩阵乘法高效近似？
• RQ2 标准集中化工具如何被调整以在矩阵压缩中实现依赖于低秩的界？
• RQ3 何种新颖的矩阵值切尔诺夫不等式可实现低秩场景下的更紧密误差控制？
• RQ4 在矩阵乘法中，行采样与随机线性压缩在误差和稳定性方面有何异同？
• RQ5 截断技术能否弥合基于秩与基于稳定秩的误差界之间的差距？

主要发现

• 所提方法通过 t ≪ n 个压缩行，以高概率实现谱范数近似误差 ||ÃᵀB̃ − AᵀB|| ≤ ε||A|| ||B||。
• 推导出一种新的低秩矩阵值切尔诺夫不等式，使稳定秩依赖的误差界成为可能。
• 理论保证仅依赖于 A 和 B 的稳定秩，使其对低秩和病态矩阵具有鲁棒性。
• 截断技术的应用使得基于秩的集中论证可推广至更一般的稳定秩设定。
• 在相同的稳定秩假设下，非均匀采样与随机线性压缩均能获得相近的误差界。
• 结果表明，在实践中，稳定秩是矩阵压缩中比秩更具有信息量的复杂度参数。