[論文レビュー] Scalable GWR: A linear-time algorithm for large-scale geographically weighted regression with polynomial kernels

Daisuke Murakami, Narumasa Tsutsumida+3 more|arXiv (Cornell University)|May 1, 2019

Spatial and Panel Data Analysis参考文献 54被引用数 9

ひとこと要約

本稿では、多項式カーネルを用いた大規模地理重量回帰（GWR）のための線形時間アルゴリズムであるScaGWRを提案する。leave-one-out交差検証の前段階でデータ行列を事前に圧縮することで、ScaGWRはサンプルサイズに比例する線形な計算量成長を達成し、並列処理を要せずとも最大100万件の観測値を含むデータセットに対しても効率的なキャリブレーションが可能となる。また、従来のGWRに比べてより安定した経験的ベイズ推定量を生成する。

ABSTRACT

Although a number of studies have developed fast geographically weighted regression (GWR) algorithms for large samples, none of them has achieved linear-time estimation, which is considered a requisite for big data analysis in machine learning, geostatistics, and related domains. Against this backdrop, this study proposes a scalable GWR (ScaGWR) for large datasets. The key improvement is the calibration of the model through a pre-compression of the matrices and vectors whose size depends on the sample size, prior to the leave-one-out cross-validation, which is the heaviest computational step in conventional GWR. This pre-compression allows us to run the proposed GWR extension so that its computation time increases linearly with the sample size. With this improvement, the ScaGWR can be calibrated with one million observations without parallelization. Moreover, the ScaGWR estimator can be regarded as an empirical Bayesian estimator that is more stable than the conventional GWR estimator. We compare the ScaGWR with the conventional GWR in terms of estimation accuracy and computational efficiency using a Monte Carlo simulation. Then, we apply these methods to a US income analysis. The code for ScaGWR is available in the R package scgwr. The code is embedded into C++ code and implemented in another R package, GWmodel.

研究の動機と目的

• 機械学習および空間統計分野における大規模データ向けに、線形時間の地理重量回帰（GWR）アルゴリズムが不足しているという問題に取り組む。
• 従来のGWRで最も計算コストの高い部分であるleave-one-out交差検証の計算負荷を軽減する。
• 並列処理を要せずとも、最大100万件の観測値を含む大規模データセットに対してもスケーラブルなGWR推定を可能にする。
• 経験的ベイズ推定量としてScaGWRを定式化することで、推定量の安定性を向上させる。
• Rパッケージscgwrへの統合を通じて、実用的で効率的かつスケーラブルなソリューションを提供する。

提案手法

• leave-one-out交差検証の前段階でデータ行列および重みベクトルを事前に圧縮し、計算負荷を低減する。
• 空間的に変化する関係を効率的にモデル化するため、多項式カーネルを用いる。
• 行列近似技術を適用して設計行列および応答ベクトルを圧縮し、それらのサンプルサイズ依存性を低減する。
• ScaGWR推定量を経験的ベイズ推定量として定式化することで、従来のGWRに比べて安定性を向上させる。
• C++で実装し、高性能計算を実現するためRパッケージscgwrに統合する。
• 多項式カーネルの構造を活用することで、サンプルサイズに対して線形時間の計算量を達成する。

実験結果

リサーチクエスチョン

• RQ1 地理重量回帰は、サンプルサイズに対して線形時間の計算量を達成できるか。
• RQ2 大規模データ処理におけるGWRのleave-one-out交差検証の計算ボトルネックは、どのように軽減できるか。
• RQ3 データ行列およびベクトルの事前圧縮は、GWR推定の速度と安定性の両方を向上させるか。
• RQ4 ScaGWRは、最大100万件の観測値を含むデータセットにおいて、線形時間性能を維持しながら高い推定精度を保つことができるか。
• RQ5 ScaGWR推定量は、経験的ベイズ定式化のおかげで、従来のGWRに比べてより安定しているか。

主な発見

• ScaGWRはサンプルサイズに比例する線形時間計算を達成し、並列処理を要せずとも最大100万件の観測値を含むデータセットに対しても効率的な推定が可能である。
• データ行列およびベクトルの事前圧縮により、従来のGWRで主なボトルネックを占めるleave-one-out交差検証の計算コストが低減される。
• 経騳的ベイズ定式化のおかげで、ScaGWRは従来のGWRに比べてより安定した推定量を生成する。
• モンテカルロシミュレーションの結果、ScaGWRは従来のGWRと同等の高い推定精度を維持しながら、著しく高速であることが示された。
• 米国収入分析への応用において、実世界の大規模空間データに対してスケーラビリティと実用的有用性が実証された。
• C++で最適化されたScaGWR実装を含むRパッケージscgwrは、再現性のある研究および空間分析ワークフローへの統合を目的として公開されている。