[论文解读] Error Estimation for Randomized Least-Squares Algorithms via the Bootstrap

Miles E. Lopes, Shusen Wang+1 more|arXiv (Cornell University)|Mar 21, 2018

Stochastic Gradient Optimization Techniques参考文献 4被引用 9

一句话总结

本文提出一种基于自展法（bootstrap）的方法，用于实时估计随机化最小二乘解的误差，通过重采样后的 sketching 矩阵来近似解误差的抽样分布。该方法提供了理论合理、数据驱动的误差估计，计算效率高，适用于多种 sketching 算法和误差度量。

ABSTRACT

Over the course of the past decade, a variety of randomized algorithms have been proposed for computing approximate least-squares (LS) solutions in large-scale settings. A longstanding practical issue is that, for any given input, the user rarely knows the actual error of an approximate solution (relative to the exact solution). Likewise, it is difficult for the user to know precisely how much computation is needed to achieve the desired error tolerance. Consequently, the user often appeals to worst-case error bounds that tend to offer only qualitative guidance. As a more practical alternative, we propose a bootstrap method to compute a posteriori error estimates for randomized LS algorithms. These estimates permit the user to numerically assess the error of a given solution, and to predict how much work is needed to improve a "preliminary" solution. In addition, we provide theoretical consistency results for the method, which are the first such results in this context (to the best of our knowledge). From a practical standpoint, the method also has considerable flexibility, insofar as it can be applied to several popular sketching algorithms, as well as a variety of error metrics. Moreover, the extra step of error estimation does not add much cost to an underlying sketching algorithm. Finally, we demonstrate the effectiveness of the method with empirical results.

研究动机与目标

• 为解决随机化最小二乘解缺乏实用、数据驱动的误差估计问题，此类解法通常受限于保守的最坏情况理论界。
• 开发一种方法，使用户能够数值评估计算解的实际误差，而非依赖于理论上的最坏情况保证。
• 提供一个灵活的误差估计框架，适用于多种 sketching 算法（例如，Classic Sketch、Hessian Sketch、Iterative Hessian Sketch）和误差度量。
• 确保误差估计步骤对现有 sketching 流水线的计算开销最小。
• 支持实际决策，如 sketch 大小选择、收敛性监控以及迭代求解器中的精度预测。

提出的方法

• 该方法通过 sketching 矩阵的自展重采样，生成多个扰动后的重采样系统，从而实现对解的抽样分布的经验估计。
• 它利用了在随机 sketching 下解误差的渐近正态性，该性质通过高维统计中的 delta 方法和中心极限定理推导得出。
• 关键洞见在于，重采样后的解误差分布可近似真实误差的抽样分布，从而实现对解标准误差的一致估计。
• 该方法可适用于多种 sketching 类型，包括 Classic Sketch、Hessian Sketch 和 Iterative Hessian Sketch，通过针对每种算法的特定结构调整重采样过程。
• 通过重采样误差的自展分布，可在任意范数度量下估计误差，实现超越标准谱范数或 Frobenius 范数的灵活误差评估。
• 理论依据通过标准化误差分布的弱收敛性至多元正态分布提供，确保了自展估计的一致性。

实验结果

研究问题

• RQ1 能否使用自展法以实用且理论合理的方式估计随机化最小二乘解的实际误差？
• RQ2 如何将自展重采样方法适配于不同 sketching 算法（如 Classic Sketch、Hessian Sketch、IHS），以估计解误差？
• RQ3 随着 sketch 大小的增加，自展误差估计是否收敛至真实误差分布？
• RQ4 该方法能否用于估计任意范数下的误差，而不仅限于现有理论界所覆盖的范数？
• RQ5 与原始 sketching 计算相比，误差估计步骤的计算成本如何？

主要发现

• 自展法提供了对解误差分布的一致估计，且在温和正则性条件下，标准化误差收敛于弱收敛至多元正态分布。
• 理论分析表明，误差的自展分布与真实解误差的抽样分布一致，确保了估计的可靠性。
• 该方法以极低的额外计算开销实现了精确的误差估计，因为重采样过程复用了相同的 sketching 结构。
• 实验结果表明，自展估计在各种 sketching 算法和输入配置下均能紧密跟踪真实误差。
• 该方法支持实际决策，如确定所需的 sketch 大小或检测迭代 sketching 算法中的收敛性。
• 误差估计对理论界中未知或保守的常数具有鲁棒性，提供了比最坏情况分析更具信息量的替代方案。