[论文解读] Asymptotic Analysis of Sampling Estimators for Randomized Numerical Linear Algebra Algorithms

Ping Ma, Xinlian Zhang+3 more|arXiv (Cornell University)|Feb 24, 2020

Stochastic Gradient Optimization Techniques参考文献 27被引用 31

一句话总结

本文推导了 RandNLA 采样在普通最小二乘（OLS） under unconditional and conditional inference 的渐近分布，并提出基于 AMSE 与 EAMSE 标准的最优采样方案以进行统计推断。

ABSTRACT

The statistical analysis of Randomized Numerical Linear Algebra (RandNLA) algorithms within the past few years has mostly focused on their performance as point estimators. However, this is insufficient for conducting statistical inference, e.g., constructing confidence intervals and hypothesis testing, since the distribution of the estimator is lacking. In this article, we develop an asymptotic analysis to derive the distribution of RandNLA sampling estimators for the least-squares problem. In particular, we derive the asymptotic distribution of a general sampling estimator with arbitrary sampling probabilities. The analysis is conducted in two complementary settings, i.e., when the objective of interest is to approximate the full sample estimator or is to infer the underlying ground truth model parameters. For each setting, we show that the sampling estimator is asymptotically normally distributed under mild regularity conditions. Moreover, the sampling estimator is asymptotically unbiased in both settings. Based on our asymptotic analysis, we use two criteria, the Asymptotic Mean Squared Error (AMSE) and the Expected Asymptotic Mean Squared Error (EAMSE), to identify optimal sampling probabilities. Several of these optimal sampling probability distributions are new to the literature, e.g., the root leverage sampling estimator and the predictor length sampling estimator. Our theoretical results clarify the role of leverage in the sampling process, and our empirical results demonstrate improvements over existing methods.

研究动机与目标

• 推动在最小二乘的点估计之外，对 RandNLA 方法进行统计推断。
• 在两种情形下推导一般 RandNLA 采样估计量的渐近分布：估计真实模型和近似全样本估计量。
• 引入 AMSE 与 EAMSE 作为设计最优采样概率的标准。
• 提出并分析新的采样方案（inverse-covariance、root leverage、predictor-length），并与现有方法进行比较。
• 提供理论结果与实证验证，证明渐近无偏性及方差性质的改进。

提出的方法

• 将 RandNLA 采样估计量建模为 ￿tilde{\\beta} = (X^T W X)^{-1} X^T W Y 与随机对角矩阵 W。
• 在正则性条件下推导 \\u007ftilde{\\beta} 的渐近正态性（先固定 p，然后当 p 发散）以及两种推断设定。
• 定义 AMSE 与 EAMSE 来量化渐近均方误差及其期望，指引最优采样概率。
• 获得估计 \\boldsymbol{\\beta}_0、X\\boldsymbol{\\beta}_0 与 X^T X \\boldsymbol{\\beta}_0 的明显 AMSE 形式，从而得到新的采样方案。
• 提出最优方案：inverse-covariance (IC) 用于估计 \\boldsymbol{\\beta}_0，root leverage (RL) 用于 X\\tilde{\\boldsymbol{\\beta}}，以及 predictor-length (PL) 用于 X^T X \\tilde{\\boldsymbol{\\beta}}。
• 给出在何种条件下可以高效计算采样概率，并讨论它们与 leverage scores 的关系。

实验结果

研究问题

• RQ1 在无条件与条件推断下，LS 问题的 RandNLA 采样估计量的渐近分布是什么？
• RQ2 如何将 AMSE 与 EAMSE 用于在 RandNLA 情境中设计最优采样概率？
• RQ3 新采样方案（IC、RL、PL）在 AMSE/EAMSE 方面是否优于传统的基于杠杆的采样或均匀采样？
• RQ4 这些结果如何扩展到固定与发散的预测变量数 p？

主要发现

• 采样估计量在无条件与条件设定下均为渐近正态且渐近无偏。
• 渐近方差将全样本 OLS 方差与依赖于采样概率倒数的 sandwich 型项相结合。
• Inverse-covariance (IC) 采样在估计 \\boldsymbol{\\beta}_0 的 AMSE 最小。
• Root leverage (RL) 采样由于杠杆结构，在估计 X\\boldsymbol{\\beta}_0 的 AMSE 上实现最小化。
• Predictor-length (PL) 采样在估计 X^T X \\boldsymbol{\\beta}_0 的 AMSE 上实现最小化，并与 Fisher 信息相关。
• 实证结果显示在合成数据与实际数据上，所提出估计量的方差更小、性能更优。