[论文解读] Distributed inference for quantile regression processes

Stanislav Volgushev, Shih-Kang Chao+1 more|arXiv (Cornell University)|Jan 21, 2017

Statistical Methods and Inference参考文献 17被引用 14

一句话总结

该论文提出了一种分位数回归过程的分布式推理框架，可在多个计算单元上并行估计条件分位数函数，随后通过投影方法构建完整的分位数回归过程。在最优选择计算单元数量和分位数水平的前提下，该方法保持了统计精度，并为最小计算成本推导出精确的界限。

ABSTRACT

The increased availability of massive data sets provides a unique opportunity to discover subtle patterns in their distributions, but also imposes overwhelming computational challenges. To fully utilize the information contained in big data, we propose a two-step procedure: (i) estimate conditional quantile functions at different levels in a parallel computing environment; (ii) construct a conditional quantile regression process through projection based on these estimated quantile curves. Our general quantile regression framework covers both linear models with fixed or growing dimension and series approximation models. We prove that the proposed procedure does not sacrifice any statistical inferential accuracy provided that the number of distributed computing units and quantile levels are chosen properly. In particular, a sharp upper bound for the former and a sharp lower bound for the latter are derived to capture the minimal computational cost from a statistical perspective. As an important application, the statistical inference on conditional distribution functions is considered. Moreover, we propose computationally efficient approaches to conducting inference in the distributed estimation setting described above. Those approaches directly utilize the availability of estimators from sub-samples and can be carried out at almost no additional computational cost. Simulations confirm our statistical inferential theory.

研究动机与目标

• 解决在分位数回归中分析大规模数据集所面临的计算挑战。
• 开发一种可扩展的框架，在分布式计算下仍保持统计精度。
• 建立对计算单元数量和分位数水平的理论界限，以确保最优性能。
• 利用分布式估计器实现对条件分布函数的高效统计推断。
• 通过复用现有子样本估计器，将推理的额外计算成本最小化。

提出的方法

• 在多个计算单元上并行估计多个分位数水平下的条件分位数函数。
• 通过投影方法，利用分布式估计的分位数曲线构建条件分位数回归过程。
• 制定框架以支持固定/增长维数的线性模型和系列近似模型。
• 推导出对计算单元数量的精确上界，以及对分位数水平数量的精确下界，以确保统计效率。
• 直接利用子样本的估计器进行推理，实现近乎零的额外计算成本。
• 应用基于投影的方法，将分布式估计结果整合为一致的分位数回归过程。

实验结果

研究问题

• RQ1 为在分布式分位数回归中保持统计精度，所需的最少计算单元数量是多少？
• RQ2 为确保无推断精度损失，所需的最少分位数水平数量是多少？
• RQ3 在分布式环境下，如何高效地对条件分布函数进行推断？
• RQ4 在完成分布式估计后，是否可以以可忽略的额外计算成本实现统计推断？
• RQ5 所提出的方法是否能保持与集中式估计相同的推断精度？

主要发现

• 当适当地选择计算单元数量和分位数水平时，所提出的分布式推理程序可保持与集中式估计相同的统计推断精度。
• 推导出计算单元数量的精确上界，以避免效率损失。
• 确立了分位数水平数量的精确下界，以确保不产生统计成本。
• 该方法仅利用分布式估计器即可实现对条件分布函数的高效推断，几乎不增加额外计算成本。
• 模拟结果验证了理论发现，表明在所推导的界限下，该方法能实现精确的推断。
• 该框架适用于固定或增长维数的线性模型以及系列近似模型。