[논문 리뷰] Non-separable Dynamic Nearest-Neighbor Gaussian Process Models for Large spatio-temporal Data With an Application to Particulate Matter Analysis

Abhirup Datta, Sudipto Banerjee외 3명|arXiv (Cornell University)|2015. 10. 24.

Air Quality and Health Impacts참고 문헌 54인용 수 5

한 줄 요약

이 논문은 비분리 공분산 구조를 가진 대규모 시공간 데이터셋에 대해 확장 가능하고 전체 베이지안 추론을 가능하게 하는 비분리 동적 최근접이웃 가우시안 프로세스(DNNGP) 모델을 제안한다. 국소적 이웃 기반 근사와 조건부 분포를 기반으로 하는 게비스 샘플러를 활용하여 밀도 행렬 연산을 피함으로써 DNNGP는 선형 저장 및 계산 복잡도를 달성하며, 예측 정확도에서 저랭크 방법보다 뛰어나면서도 임의의 시공간 해상도에서 전체 사후 분포 추론을 가능하게 한다.

ABSTRACT

Particulate matter (PM) is a class of malicious environmental pollutants known to be detrimental to human health. Regulatory efforts aimed at curbing PM levels in different countries often require high resolution space-time maps that can identify red-flag regions exceeding statutory concentration limits. Continuous spatio-temporal Gaussian Process (GP) models can deliver maps depicting predicted PM levels and quantify predictive uncertainty. However, GP based approaches are usually thwarted by computational challenges posed by large datasets. We construct a novel class of scalable Dynamic Nearest Neighbor Gaussian Process (DNNGP) models that can provide a sparse approximation to any spatio-temporal GP (e.g., with non-separable covariance structures). The DNNGP we develop here can be used as a sparsity-inducing prior for spatio-temporal random effects in any Bayesian hierarchical model to deliver full posterior inference. Storage and memory requirements for a DNNGP model are linear in the size of the dataset thereby delivering massive scalability without sacrificing inferential richness. Extensive numerical studies reveal that the DNNGP provides substantially superior approximations to the underlying process than low rank approximations. Finally, we use the DNNGP to analyze a massive air quality dataset to substantially improve predictions of PM levels across Europe in conjunction with the LOTOS-EUROS chemistry transport models (CTMs).

연구 동기 및 목표

• 비분리 공분산 구조를 가진 대규모 시공간 데이터셋에 대해 전체 가우시안 프로세스 모델의 계산 비용이 지나치게 높다는 문제를 해결한다.
• 추론의 풍부함과 예측 정확도를 유지하면서도 조밀한 GP 모델의 대안으로서 확장 가능한 방법을 개발한다.
• 엄청난 크기의 데이터셋이 있을 경우에도 임의의 시공간 위치와 시간에 대해 전체 사후 추론을 가능하게 한다.
• 물리 모델 출력물(예: LOTOS-EUROS CTM)과 관측 데이터를 통합하여 대기질 예측을 향상시킨다.
• 기존 모델이 포착하지 못한 미생물질 데이터의 잔여 시공간적 및 시간적 의존성 구조를 드러낸다.

제안 방법

• 전체 GP 공분산 구조를 근접한 국소적 공간 및 시간 이웃을 이용해 근사하는 동적 최근접이웃 가우시안 프로세스(DNNGP)를 구축한다.
• 상관 함수에서 유도된 매개변수 거리 척도를 기반으로 이웃 집합을 정의하고, 단조성 특성을 활용해 효율적인 갱신을 수행한다.
• 국소적 이웃 기반 조건부 분포에 의존함으로써 전체 행렬 분해를 피하는 게비스 샘플러를 구현한다.
• 희소 정밀도 행렬과 이웃 기반 갱신을 통해 관측 수에 비례하는 선형 계산 복잡도를 확보한다.
• 베이지안 계층 모델에서 시공간 랜덤 효과의 희소성 유도 사전 분포로 DNNGP를 사용한다.
• 유연한 이웃 선택 및 거리 척도를 통해 비정상성 및 비분리 공분산 함수를 지원하도록 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 최근접이웃 기반 GP 모델이 대규모 비분리 시공간 데이터셋에 대해 계산 확장성과 높은 예측 정확도를 동시에 달성할 수 있는가?
• RQ2 DNNGP는 예측 성능 및 불확실성 정량화 측면에서 저랭크 및 기타 희소 GP 근사 방법과 비교해 어떻게 성능을 내는가?
• RQ3 DNNGP는 기존의 기후 이동 모델이 포착하지 못한 대기오염 물질 데이터의 잔여 시간적 및 공간적 의존성 구조를 어느 정도 드러낼 수 있는가?
• RQ4 DNNGP 프레임워크는 거대한 데이터셋이 있을 경우에도 임의의 시공간 해상도에서 전체 베이지안 추론을 지원할 수 있는가?
• RQ5 LOTOS-EUROS CTM 출력물과 결합했을 때 DNNGP의 포함이 유럽 전역의 PM10 농도 예측을 얼마나 향상시키는가?

주요 결과

• DNNGP 모델은 관측 수에 대해 선형 저장 및 계산 복잡도를 달성하여 거대한 데이터셋에 대한 확장성을 확보한다.
• 수치 실험 결과 DNNGP가 저랭크 방법보다 진정한 기저 GP 과정에 대해 훨씬 우수한 근사를 제공하는 것으로 나타났다.
• 실제로 유럽 PM10 데이터에 적용한 결과, 이전 방법들보다 DNNGP가 예측 정확도를 크게 향상시켰다.
• 분석 결과 잔여 시간적 상관관계가 공간적 상관관계를 압도하며, PM10 수명 주기와 물리적으로 타당한 시간 범위를 보였다.
• 임의의 위치와 시간에 대해 시공간 과정에 대한 전체 사후 추론이 가능하여 통계적 다운스케일링이 가능하다.
• DNNGP 프레임워크는 비정상성 및 비분리 공분산 구조로의 확장을 통해 환경 모델링에 대한 유연성을 향상시켰다.