[논문 리뷰] DeepKriging: Spatially Dependent Deep Neural Networks for Spatial Prediction

Wanfang Chen, Yuxiao Li외 2명|arXiv (Cornell University)|2020. 07. 23.

Spatial and Panel Data Analysis인용 수 11

한 줄 요약

DeepKriging는 공간 기반의 깊이 신경망을 도입하여 기저 함수를 통해 공간 좌표를 임bedding함으로써 비선형적이고 스케일러블한 공간 예측과 신뢰도 측정을 가능하게 한다. 이는 비정상성과 비정규성의 공간 의존성을 포착함으로써 기존 크리깅을 일반화하며, PM2.5 데이터 및 시뮬레이션 연구에서 크리깅과 표준 DNN보다 예측 정확도와 신뢰도 추정에서 뛰어난 성능을 보인다.

ABSTRACT

In spatial statistics, a common objective is to predict values of a spatial process at unobserved locations by exploiting spatial dependence. Kriging provides the best linear unbiased predictor using covariance functions and is often associated with Gaussian processes. However, when considering non-linear prediction for non-Gaussian and categorical data, the Kriging prediction is no longer optimal, and the associated variance is often overly optimistic. Although deep neural networks (DNNs) are widely used for general classification and prediction, they have not been studied thoroughly for data with spatial dependence. In this work, we propose a novel DNN structure for spatial prediction, where the spatial dependence is captured by adding an embedding layer of spatial coordinates with basis functions. We show in theory and simulation studies that the proposed DeepKriging method has a direct link to Kriging in the Gaussian case, and it has multiple advantages over Kriging for non-Gaussian and non-stationary data, i.e., it provides non-linear predictions and thus has smaller approximation errors, it does not require operations on covariance matrices and thus is scalable for large datasets, and with sufficiently many hidden neurons, it provides the optimal prediction in terms of model capacity. We further explore the possibility of quantifying prediction uncertainties based on density prediction without assuming any data distribution. Finally, we apply the method to predicting PM2.5 concentrations across the continental United States.

연구 동기 및 목표

• 기존 크리깅이 비정규성, 비정상성 및 대규모 공간 데이터를 다루는 데에 한계를 보이는 문제를 해결하기 위해.
• 공간 좌표 임베딩을 통해 공간 의존성을 명시적으로 모델링하는 딥 러닝 프레임워크를 개발하기 위해.
• 모수적 데이터 분포를 가정하지 않고도 비선형 예측과 신뢰도 측정을 가능하게 하기 위해.
• 공분산 행렬의 역행렬 계산을 피하여 계산의 스케일러비리티를 확보하기 위해.
• 크리깅을 일반화하면서도 가우시안 프로세스와의 이론적 연결을 유지하는 유연하고 고용량의 모델을 제공하기 위해.

제안 방법

• 공간 좌표를 기저 함수 공간으로 매핑하는 임베딩 레이어를 갖춘 딥 뉴럴 네트워크를 도입하여 공간 의존성을 인코딩한다.
• 기저 함수(예: 반경 기반 기저 함수 또는 푸리에 특징)를 사용하여 공간 좌표를 공간 상관관계를 포착하는 잠재 표현으로 변환한다.
• 입력이 공간 좌표와 공변량인 깊이 전방향 네트워크로 구성되며, 은닉층이 비선형 관계를 학습한다.
• 예측 분산과 밀도 추정을 통해 신뢰도 측정을 가능하게 하는 가우시안 프로세스 표현을 활용한다.
• 분포 가정 없이 전체 예측 분포를 추정하기 위해 무작위 분할 기반의 앙상블 밀도 예측을 적용한다.
• 공분산 행렬 연산의 $O(N^3)$ 복잡도를 피함으로써 효율적으로 스케일링되어 대규모 공간 데이터셋에서의 활용이 가능하다.

실험 결과

연구 질문

• RQ1 비정규성과 비정상성 과정에 대해 크리깅을 일반화할 수 있는 방식으로, 공간 의존성을 명시적으로 모델링하는 딥 뉴럴 네트워크를 설계할 수 있는가?
• RQ2 비정규 데이터에서 전통적 크리깅과 비교해 본다 하였을 때, 제안된 DeepKriging 방법은 예측 정확도와 신뢰도 측정에서 어떤 성능을 보이는가?
• RQ3 행렬 역행렬 계산 없이도 대규모 공간 데이터셋에서 효율적인 추론을 달성할 수 있는가?
• RQ4 표준 크리깅이 모델링하지 못하는 이질분산성과 복잡한 공간 공분산 구조를 모델이 얼마나 잘 포착하는가?
• RQ5 특정 모수적 분포를 가정하지 않고도 밀도 예측을 통해 신뢰도를 신뢰성 있게 측정할 수 있는가?

주요 결과

• 비정규 혼합 시뮬레이션에서 DeepKriging는 크리깅과 유사한 평균 제곱근 오차(RMSE)를 기록했으나(0.485 vs. 0.490), 평균 분위수 손실이 크게 낮아(0.12 vs. 60.47) 분위수 추정에서 뛰어난 성능을 보였다.
• 모델은 공간 과정의 이질분산성을 잘 포착하며, 높은 공간 위치에서 분산이 증가하는 현상도 정확히 반영한다. 이는 크리깅이 모델링하지 못하는 부분이다.
• DeepKriging는 크리깅이 고분산 영역에서 신뢰도를 과소평가하는 것과는 달리, 더 정확하고 현실적인 95% 예측 구간을 제공한다.
• 공분산 행렬의 $O(N^3)$ 복잡도를 피함으로써 효율적인 스케일링이 가능하여 대규모 공간 데이터셋에 적합하다.
• 무분포 가정 없이 앙상블 무작위 분할 기반의 밀도 예측을 통해 비모수적 예측 밀도를 부드럽게 제공한다.
• 대륙 전체 미국의 실세계 PM2.5 데이터에서 DeepKriging는 크리깅과 표준 DNN 모두보다 더 뛰어난 공간 예측 성능을 보였다.