[论文解读] A Bootstrap Method for Error Estimation in Randomized Matrix Multiplication

Miles E. Lopes, Shusen Wang+1 more|arXiv (Cornell University)|Aug 6, 2017

Stochastic Gradient Optimization Techniques参考文献 48被引用 3

一句话总结

本文提出一种自展法（bootstrap method）以估计随机化矩阵乘法中的误差，利用外推技术高效估算不同降维情况下的近似方法精度。该方法在不显著增加计算开销的前提下，提供针对具体问题的误差估计，为大规模矩阵计算中的成本-精度权衡提供实用指导。

ABSTRACT

In recent years, randomized methods for numerical linear algebra have received growing interest as a general approach to large-scale problems. Typically, the essential ingredient of these methods is some form of randomized dimension reduction, which accelerates computations, but also creates random approximation error. In this way, the dimension reduction step encodes a tradeoff between cost and accuracy. However, the exact numerical relationship between cost and accuracy is typically unknown, and consequently, it may be difficult for the user to precisely know (1) how accurate a given solution is, or (2) how much computation is needed to achieve a given level of accuracy. In the current paper, we study randomized matrix multiplication (sketching) as a prototype setting for addressing these general problems. As a solution, we develop a bootstrap method for \emph{directly estimating} the accuracy as a function of the reduced dimension (as opposed to deriving worst-case bounds on the accuracy in terms of the reduced dimension). From a computational standpoint, the proposed method does not substantially increase the cost of standard sketching methods, and this is made possible by an "extrapolation" technique. In addition, we provide both theoretical and empirical results to demonstrate the effectiveness of the proposed method.

研究动机与目标

• 为解决在实际应用中缺乏有效估计随机化矩阵乘法实际精度的方法这一问题。
• 提供一种避免过度悲观的最坏情况理论边界的、与问题相关的误差估计技术。
• 开发一种计算高效的误差估计方法，不显著增加标准近似算法的计算成本。
• 使用户能够为大规模矩阵问题确定实现期望精度水平所需的合适近似大小。
• 建立一个可扩展至其他随机化数值线性代数方法的误差估计框架，而不仅限于矩阵乘法。

提出的方法

• 该方法提出一种基于自展的误差估计方法，以近似大小 t 为变量，估计随机化矩阵乘法的逐元素误差（ℓ∞-范数）。
• 利用外推技术降低计算成本，通过重用已有的近似计算结果，实现对多个近似大小 t 的误差估计。
• 通过从原始近似中重采样，对误差分布进行建模，从而估计分位数（如误差的第 95 百分位数）。
• 理论分析表明，在较弱假设下，自展估计器是一致的，其误差界通过浓度不等式和 Lévy-Prokhorov 距离导出。
• 该方法依赖一个关键技术引理，将 Lévy-Prokhorov 距离与分位数差异关联起来，确保误差量化的可靠性。
• 该算法设计为可即插即用，可无缝集成至现有近似计算流程中，仅需对标准近似代码进行少量修改。

实验结果

研究问题

• RQ1 如何针对给定的输入矩阵对，估计随机化矩阵乘法的实际误差，而非依赖最坏情况的理论边界？
• RQ2 在实际中，近似大小 t 与最终误差之间存在何种关系？该关系如何被高效估计？
• RQ3 能否设计一种自展方法，在不显著增加计算成本的前提下，估计随机化矩阵乘法的误差？
• RQ4 所提出的自展方法在估计不同矩阵维度和近似大小下的误差分位数（如第 95 百分位数）时，其准确性如何？
• RQ5 该方法的性能在多大程度上依赖于输入矩阵的结构特征，如条件数或相干性？

主要发现

• 所提出的自展方法在各种近似大小下，对随机化矩阵乘法的 ℓ∞-范数误差提供了精确估计，实证结果表明其与真实误差高度一致。
• 该方法以极低的计算开销实现高精度，外推技术通过重用已有近似计算，高效估计多个 t 值下的误差。
• 理论分析证实，在标准假设下，自展估计器是一致的，其误差界随矩阵维度和近似大小呈有利的缩放趋势。
• 该方法优于传统最坏情况边界，后者通常过于保守，无法反映具体问题的误差行为。
• 在合成数据和真实世界数据上的实证验证表明，该自展方法能可靠估计误差分位数，使用户可根据期望精度水平选择最优近似大小。
• 该方法对矩阵条件数和输入结构的变化具有鲁棒性，在多种数值线性代数工作负载中均表现出实际应用价值。