[논문 리뷰] Linear-Cost Covariance Functions for Gaussian Random Fields

Jie Chen, Michael L. Stein|arXiv (Cornell University)|2017. 11. 16.

Soil Geostatistics and Mapping참고 문헌 76인용 수 6

한 줄 요약

이 논문은 계산 비용을 선형 수준으로 낮추기 위해 계층 행렬 구조를 유도하는 새로운 공분산 함수의 클래스를 제안한다. 이는 샘플링, 크리징, 가능도 평가에 대해 선형 비용 계산을 가능하게 하며, 중첩 기저 함수와 계층 행렬 알고리즘을 활용하여 샘플링과 가능도 평가에 대해 O(n) 비용, 크리징에 대해 O(log n)의 평균 비용을 달성한다. 이는 두 백만 개 이상의 관측치를 포함하는 데이터셋에서도 예측 정확도를 유지하면서 효율적으로 확장 가능하다.

ABSTRACT

Gaussian random fields (GRF) are a fundamental stochastic model for spatiotemporal data analysis. An essential ingredient of GRF is the covariance function that characterizes the joint Gaussian distribution of the field. Commonly used covariance functions give rise to fully dense and unstructured covariance matrices, for which required calculations are notoriously expensive to carry out for large data. In this work, we propose a construction of covariance functions that result in matrices with a hierarchical structure. Empowered by matrix algorithms that scale linearly with the matrix dimension, the hierarchical structure is proved to be efficient for a variety of random field computations, including sampling, kriging, and likelihood evaluation. Specifically, with $n$ scattered sites, sampling and likelihood evaluation has an $O(n)$ cost and kriging has an $O(\log n)$ cost after preprocessing, particularly favorable for the kriging of an extremely large number of sites (e.g., predicting on more sites than observed). We demonstrate comprehensive numerical experiments to show the use of the constructed covariance functions and their appealing computation time. Numerical examples on a laptop include simulated data of size up to one million, as well as a climate data product with over two million observations.

연구 동기 및 목표

• 밀도 공분산 행렬에 기인한 O(n³) 연산과 O(n²) 저장소로 인해 대규모 가우시안 랜덤 필드 모델이 계산적으로 비현실적이 되는 문제를 해결하기 위해.
• 양의 정부호성을 유지하면서도 효율적인 계층 행렬 계산을 가능하게 하는 공분산 함수의 구축을 위해.
• 대규모 데이터셋에서 샘플링, 크리징, 가능도 평가와 같은 핵심 연산에 대해 선형 또는 근사 선형 계산 비용을 달성하기 위해.
• 두 백만 개 이상의 관측치를 포함하는 실제 기후 데이터에서의 확장성과 성능을 입증하기 위해.

제안 방법

• 중첩 기저 함수를 통해 유도된 계층 행렬 구조를 가진 공분산 행렬을 만드는 새로운 공분산 함수 클래스 $k_{\rm{h}}$ 를 제안한다.
• 트리 구조의 희박성 패턴을 활용하는 계층 행렬 알고리즘을 적용하여 샘플링과 가능도 평가에 대해 산술 연산과 저장소 비용을 O(n)으로 감소시킨다.
• 다중 해상도 기저 분해를 통해 공분산 함수를 계층적 프레임워크에 통합하여 효율적인 행렬 분해 및 해법 연산을 가능하게 한다.
• 예측을 위한 새로운 위치에 대해 사전 계산된 계층 표현을 활용함으로써, 사전 처리 후 각 예측 위치에 대해 O(log n) 비용으로 크리징을 수행한다.
• 계층 행렬 프레임워크를 활용하여 가능도를 효율적으로 계산함으로써, 대규모 데이터셋에서 최대 가능도 추정과 MCMC를 수행할 수 있다.
• 합성 데이터와 두 백만 개 이상의 관측치를 포함하는 실제 기후 데이터를 사용하여 접근 방식을 검증하였으며, 기존 공분산 함수와의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 공분산 함수를 설계함으로써, 그로 인해 유도된 공분산 행렬이 선형 계산 비용을 가능하게 하는 계층적 구조를 갖출 수 있는가?
• RQ2 제안된 계층 공분산 함수는 계산 비용을 크게 줄임과 동시에 기존 공분산 함수와 비교해 예측 정확도를 유지할 수 있는가?
• RQ3 관측된 관측치 수보다 많은 예측 위치에서 예측을 수행할 경우, 제안된 방법을 사용하여 예측 위치당 O(log n)의 평균 비용으로 크리징을 수행할 수 있는가?
• RQ4 계층적 구조를 활용하여 대규모 데이터셋에서 최대 가능도 추정과 가능도 평가를 효율적으로 수행할 수 있는가?

주요 결과

• 제안된 공분산 함수 $k_{\rm{h}}$ 는 계층 행렬 구조를 유도하여 샘플링과 가능도 평가에 대해 O(n) 비용, 예측 위치당 O(log n)의 평균 비용으로 크리징을 가능하게 한다.
• 100만 개의 점을 포함하는 합성 데이터셋에서, 표준 랩톱에서 전체 계산을 10분 이내에 완료하여 선형 스케일링을 입증하였다.
• 두 백만 개 이상의 관측치를 포함하는 실제 기후 데이터셋에서, $k_{\rm{h}}$ 를 사용한 예측 정확도는 기준 공분산 함수와 유사했으며, 루트 평균 제곱 예측 오차는 0.01556을 기록하였다.
• $k_{\rm{h}}$ 를 사용해 계산한 가능도 값은 기준 $k$ 와 1000 이내로 수렴하여, 근사화에도 불구하고 강력한 통계적 정밀도를 확보하였다.
• $k_{\rm{h}}$ 를 사용한 초모수 최적화 결과는 $k$ 를 사용한 결과와 유사했으며, 가능도 표면의 형태는 눈에 보이게 유사하여 추정에의 활용 가능성을 뒷받침하였다.
• 이 방법은 총 비용이 O(n log n)이 되는 O(n) 예측 위치에 대해 확장 가능한 크리징을 가능하게 하여, 기존의 밀도 선형 대수 방법의 O(n³) 병목 현상을 극복한다.