[논문 리뷰] FRK: An R Package for Spatial and Spatio-Temporal Prediction with Large Datasets

Andrew Zammit‐Mangion, Noel Cressie|arXiv (Cornell University)|2017. 05. 23.

Soil Geostatistics and Mapping참고 문헌 30인용 수 35

한 줄 요약

FRK는 기본 영역 단위(BAU)를 기반으로 하는 공간 랜덤 효과(SRE) 모델을 사용하여 스케일러블한 공간 및 시공간 예측을 위한 R 패키지로, 조건부 시뮬레이션 없이 수백만 개의 위치에서 정확한 예측을 가능하게 한다. 비정상성, 비등방성 공분산 구조를 지원하며, 다양한 지지도를 가진 데이터를 처리하고, 매개변수 추정을 위한 EM 알고리즘을 통해 측정 오차와 미세 척도 변동성을 구분함으로써 신뢰할 수 있는 불확실성 정량화를 제공한다.

ABSTRACT

FRK is an R software package for spatial/spatio-temporal modelling and prediction with large datasets. It facilitates optimal spatial prediction (kriging) on the most commonly used manifolds (in Euclidean space and on the surface of the sphere), for both spatial and spatio-temporal fields. It differs from many of the packages for spatial modelling and prediction by avoiding stationary and isotropic covariance and variogram models, instead constructing a spatial random effects (SRE) model on a fine-resolution discretised spatial domain. The discrete element is known as a basic areal unit (BAU), whose introduction in the software leads to several practical advantages. The software can be used to (i) integrate multiple observations with different supports with relative ease; (ii) obtain exact predictions at millions of prediction locations (without conditional simulation); and (iii) distinguish between measurement error and fine-scale variation at the resolution of the BAU, thereby allowing for reliable uncertainty quantification. The temporal component is included by adding another dimension. A key component of the SRE model is the specification of spatial or spatio-temporal basis functions; in the package, they can be generated automatically or by the user. The package also offers automatic BAU construction, an expectation-maximisation (EM) algorithm for parameter estimation, and functionality for prediction over any user-specified polygons or BAUs. Use of the package is illustrated on several spatial and spatio-temporal datasets, and its predictions and the model it implements are extensively compared to others commonly used for spatial prediction and modelling.

연구 동기 및 목표

• 기존의 크리깅 및 R 패키지들이 비정상성과 비등방성 구조를 가진 대규모 공간 및 시공간 데이터셋을 다루는 데에 한계를 보이는 문제를 해결하기 위해.
• 기존 크리깅의 계산적 한계를 극복하고, 조건부 시뮬레이션 없이 수백만 개의 위치에서 정확한 예측을 가능하게 하기 위해.
• 기본 영역 단위(BAU) 해상도에서 측정 오차와 미세 척도 과정 변동성을 구분하여 불확실성 정량화를 향상시키기 위해.
• 관측치가 다양한 공간적 지지도를 가질 수 있도록(예: 위성 피크업 영역) BAU 수준에서 평균화 또는 통합을 통해 데이터를 효율적으로 통합하기 위해.
• 이산화된 영역에 기반한 기저 함수를 사용하여 공간 및 시공간 모델링을 위한 민첩하고 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• 공간 과정가 기저 함수의 선형 조합과 난수 계수, 그리고 미세 척도 변동성 항으로 분해하는 공간 랜덤 효과(SRE) 모델에 기반한다.
• 공간 영역이 기본 영역 단위(BAU)로 이산화되며, 이는 모델링과 예측의 기본 공간 요소로 기능한다.
• 기저 함수는 자동으로 생성될 수 있으며(예: 비스퀘어 또는 ISEA3H 육각형 격자 사용) 사용자 지정도 가능하며, 정규직교가 아니며 비정상적일 수 있다.
• 매개변수 추정을 위해 기대-최대화(EM) 알고리즘이 사용되며, 이는 대규모 데이터셋에서도 효율적인 추론을 가능하게 한다.
• 사용자 정의 다각형 또는 BAU에 대해 임의의 예측을 지원하며, BAU 수준에서 평균화 또는 통합을 통해 다양한 공간적 지지도를 가진 데이터를 처리할 수 있다.
• 기저 함수와 공분산 구조에 시간 차원을 추가함으로써 시공간 데이터로의 자연스러운 확장이 가능하다.

실험 결과

연구 질문

• RQ1 정상성과 등방성에 대한 제한적인 가정 없이 대규모 데이터셋에 대해 효율적으로 확장 가능한 공간 예측 프레임워크를 개발할 수 있는가?
• RQ2 측정 오차와 미세 척도 과정 변동성을 공간 예측에서 어떻게 구분할 수 있으며, 이를 통해 불확실성 정량화를 향상시킬 수 있는가?
• RQ3 조건부 시뮬레이션 또는 근사 방법 없이 수백만 개의 위치에서 정확한 예측을 계산할 수 있는가?
• RQ4 이질적인 공간적 지지도를 가진 데이터(예: 위성 관측치)를 공간 모델에 효율적으로 통합할 수 있는가?
• RQ5 R에서 공간 및 시공간 예측을 위한 유연하고 비정상적인 모델링 프레임워크를 완전히 지원하는 방식으로 구현할 수 있는가?

주요 결과

• FRK 패키지는 구상 위성 표면에서 기저 함수 모델을 사용하여 최대 1,176,000개의 예측 위치에서 정확한 예측을 가능하게 하였으며, 조건부 시뮬레이션의 필요 없이 수행된다.
• 기본 영역 단위(BAU)의 사용은 위성 관측치와 같이 BAU보다 작은 피크업 영역을 가진 데이터의 원활한 통합을 가능하게 한다.
• 매개변수 추정을 위한 EM 알고리즘은 대규모 데이터셋에서도 안정적이고 효율적으로 수렴함을 입증하였으며, 100,000개 이상의 관측치를 포함한 AIRS CO2 데이터셋에서 이를 확인하였다.
• 모델은 BAU 내의 체계적 오차와 미세 척도 과정 변동성을 성공적으로 구분하여 보다 신뢰할 수 있는 불확실성 추정치를 도출하였다.
• BAU와 기저 함수를 사용하는 SRE 모델은 표준 공분산 가족을 근사할 수 있으며, 同시에 비정상성과 비등방성을 유지함으로써 전통적 방법보다 더 높은 모델링 유연성을 제공한다.
• 특히 AIRS CO2 데이터와 같이 대규모이고 복잡한 데이터셋에서 예측 정확도와 계산 효율성 면에서 기존 방법을 능가하거나 동등하게 성능을 발휘하였다.