[논문 리뷰] Scalable GWR: A linear-time algorithm for large-scale geographically weighted regression with polynomial kernels

Daisuke Murakami, Narumasa Tsutsumida외 3명|arXiv (Cornell University)|2019. 05. 01.

Spatial and Panel Data Analysis참고 문헌 54인용 수 9

한 줄 요약

이 논문은 다항식 커널을 사용한 대규모 지리적 가중 회귀(GWR)를 위한 선형 시간 알고리즘인 확장 가능한 GWR(ScaGWR)을 제안한다. 이 알고리즘은 이탈리오스스티드 교차검증 이전에 데이터 행렬을 사전 압축하여 표본 크기와 선형적인 계산 성장을 달성함으로써, 병렬 처리 없이도 최대 100만 건의 관측치를 가진 데이터셋에서도 효율적인 캘리브레이션을 가능하게 하며, 기존 GWR보다 더 안정적인 경험 베이지안 추정기법을 제공한다.

ABSTRACT

Although a number of studies have developed fast geographically weighted regression (GWR) algorithms for large samples, none of them has achieved linear-time estimation, which is considered a requisite for big data analysis in machine learning, geostatistics, and related domains. Against this backdrop, this study proposes a scalable GWR (ScaGWR) for large datasets. The key improvement is the calibration of the model through a pre-compression of the matrices and vectors whose size depends on the sample size, prior to the leave-one-out cross-validation, which is the heaviest computational step in conventional GWR. This pre-compression allows us to run the proposed GWR extension so that its computation time increases linearly with the sample size. With this improvement, the ScaGWR can be calibrated with one million observations without parallelization. Moreover, the ScaGWR estimator can be regarded as an empirical Bayesian estimator that is more stable than the conventional GWR estimator. We compare the ScaGWR with the conventional GWR in terms of estimation accuracy and computational efficiency using a Monte Carlo simulation. Then, we apply these methods to a US income analysis. The code for ScaGWR is available in the R package scgwr. The code is embedded into C++ code and implemented in another R package, GWmodel.

연구 동기 및 목표

• 머신러닝 및 지구통계학 분야에서 대규모 데이터에 대해 선형 시간 지리적 가중 회귀(GWR) 알고리즘이 부족한 문제를 해결하기 위해.
• 기존 GWR에서 가장 비용이 많이 드는 이탈리오스스티드 교차검증의 계산 부담을 줄이기 위해.
• 병렬 처리가 필요 없이도 최대 100만 건의 관측치를 가진 대규모 데이터셋에서 확장 가능한 GWR 추정을 가능하게 하기 위해.
• 경험 베이지안 추정기법을 통해 추정기의 안정성을 향상시키기 위해.
• R 패키지 scgwr에 통합을 통해 실용적이고 효율적이며 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 이탈리오스스티드 교차검증 이전에 데이터 행렬과 가중 벡터를 사전에 압축하여 계산 부담을 줄이기 위해.
• 공간적으로 변화하는 관계를 효율적으로 모델링하기 위해 다항식 커널을 사용하기 위해.
• 설계 행렬과 반응 벡터를 압축하기 위해 행렬 근사 기법을 적용하여 표본 크기 의존도를 감소시키기 위해.
• ScaGWR 추정기법을 경험 베이지안 추정기법으로 설정하여 기존 GWR 대비 안정성을 향상시키기 위해.
• C++로 알고리즘을 구현하고 R 패키지 scgwr에 통합하여 고성능 계산을 구현하기 위해.
• 다항식 커널의 구조를 활용하여 표본 크기와 선형 시간 복잡도를 달성하기 위해.

실험 결과

연구 질문

• RQ1 지리적 가중 회귀는 표본 크기와 선형 시간 복잡도를 가지며 대규모 데이터셋으로 확장될 수 있는가?
• RQ2 대규모 데이터에서 GWR의 이탈리오스스티드 교차검증의 계산 블로킹 문제는 어떻게 완화할 수 있는가?
• RQ3 데이터 행렬과 벡터의 사전 압축이 GWR 추정의 속도와 안정성 향상에 기여하는가?
• RQ4 ScaGWR는 최대 100만 건의 관측치를 가진 데이터셋에서 선형 시간 성능을 달성하면서도 높은 추정 정확도를 유지할 수 있는가?
• RQ5 ScaGWR 추정기법은 경험 베이지안 설정 덕분에 기존 GWR보다 더 안정적인가?

주요 결과

• ScaGWR는 표본 크기와 선형 시간 복잡도를 달성하여 병렬 처리 없이도 최대 100만 건의 관측치를 가진 데이터셋에서 효율적인 추정이 가능하다.
• 데이터 행렬과 벡터의 사전 압축은 기존 GWR에서 주요 블로킹 요소인 이탈리오스스티드 교차검증의 계산 비용을 감소시킨다.
• ScaGWR는 경험 베이지안 설정 덕분에 기존 GWR보다 더 안정적인 추정기법을 제공한다.
• 몬테카를로 시뮬레이션 결과 ScaGWR는 기존 GWR와 유사한 높은 추정 정확도를 유지하면서도 훨씬 더 빠른 성능을 보였다.
• 실제로 미국 소득 분석에 적용된 결과, ScaGWR는 실제 대규모 공간 데이터에서의 확장성과 실용성을 입증했다.
• C++ 최적화된 ScaGWR 구현을 포함한 R 패키지 scgwr는 재현 가능 연구 및 공간 분석 워크플로우에의 통합을 위해 공개되어 있다.