[论文解读] Scalable GWR: A linear-time algorithm for large-scale geographically weighted regression with polynomial kernels

Daisuke Murakami, Narumasa Tsutsumida+3 more|arXiv (Cornell University)|May 1, 2019

Spatial and Panel Data Analysis参考文献 54被引用 9

一句话总结

本文提出可扩展GWR（ScaGWR），一种基于多项式核函数的大规模地理加权回归线性时间算法。通过在留一法交叉验证前对数据矩阵进行预压缩，ScaGWR实现了与样本量呈线性增长的计算复杂度，无需并行化即可在包含一百万条观测值的数据集上实现高效校准，同时相比传统GWR，其经验贝叶斯估计器更加稳定。

ABSTRACT

Although a number of studies have developed fast geographically weighted regression (GWR) algorithms for large samples, none of them has achieved linear-time estimation, which is considered a requisite for big data analysis in machine learning, geostatistics, and related domains. Against this backdrop, this study proposes a scalable GWR (ScaGWR) for large datasets. The key improvement is the calibration of the model through a pre-compression of the matrices and vectors whose size depends on the sample size, prior to the leave-one-out cross-validation, which is the heaviest computational step in conventional GWR. This pre-compression allows us to run the proposed GWR extension so that its computation time increases linearly with the sample size. With this improvement, the ScaGWR can be calibrated with one million observations without parallelization. Moreover, the ScaGWR estimator can be regarded as an empirical Bayesian estimator that is more stable than the conventional GWR estimator. We compare the ScaGWR with the conventional GWR in terms of estimation accuracy and computational efficiency using a Monte Carlo simulation. Then, we apply these methods to a US income analysis. The code for ScaGWR is available in the R package scgwr. The code is embedded into C++ code and implemented in another R package, GWmodel.

研究动机与目标

• 解决机器学习与地统计学中缺乏适用于大数据的线性时间地理加权回归（GWR）算法的问题。
• 降低传统GWR中计算成本最高的留一法交叉验证步骤的计算负担。
• 在无需并行化的情况下，实现对大规模数据集（最多一百万条观测值）的可扩展GWR估计。
• 通过将ScaGWR表述为经验贝叶斯估计器，提升估计器的稳定性。
• 通过将ScaGWR集成至R包scgwr，提供一种实用、高效且可扩展的解决方案。

提出的方法

• 在留一法交叉验证前对数据矩阵和权重向量进行预压缩，以降低计算负载。
• 利用多项式核函数高效建模空间变化关系。
• 应用矩阵近似技术压缩设计矩阵和响应向量，降低其对样本量的依赖性。
• 将ScaGWR估计器表述为经验贝叶斯估计器，以增强其相对于传统GWR的稳定性。
• 使用C++实现算法，并将其嵌入R包scgwr中，以实现高性能计算。
• 利用多项式核函数的结构特性，实现与样本量呈线性时间复杂度的性能。

实验结果

研究问题

• RQ1 地理加权回归能否在样本量呈线性时间复杂度下扩展至大规模数据集？
• RQ2 如何缓解GWR在大数据中留一法交叉验证带来的计算瓶颈？
• RQ3 对数据矩阵和向量进行预压缩是否能同时提升GWR估计的速度与稳定性？
• RQ4 ScaGWR在处理最多一百万条观测值的数据集时，能否在实现线性时间性能的同时保持高估计精度？
• RQ5 由于其经验贝叶斯公式化，ScaGWR估计器是否比传统GWR更稳定？

主要发现

• ScaGWR实现了与样本量呈线性时间复杂度的计算，使在无需并行化的情况下对包含一百万条观测值的数据集实现高效估计成为可能。
• 对数据矩阵和向量的预压缩显著降低了留一法交叉验证的计算成本，而后者是传统GWR的主要瓶颈。
• ScaGWR通过其经验贝叶斯公式化，相比传统GWR产生了更稳定的估计器。
• 蒙特卡洛模拟表明，ScaGWR在显著更快的同时，保持了与传统GWR相当的高估计精度。
• 该方法成功应用于美国收入分析，展示了其在真实世界大规模空间数据上的可扩展性与实际应用价值。
• 包含C++优化实现的R包scgwr已公开发布，支持可重现研究，并可无缝集成至空间分析工作流中。