[논문 리뷰] Spatially Aggregated Gaussian Processes with Multivariate Areal Outputs

Yusuke Tanaka, Toshiyuki Tanaka외 5명|arXiv (Cornell University)|2019. 01. 01.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 다양한 공간 해상도를 가진 다변량 영역 데이터 세트 간의 공간적으로 종속된 함수를 동시에 추론하는 다변량 영역 가우시안 프로세스 모델을 제안한다. 출력을 공유 잠재 가우시안 프로세스의 선형 조합으로 모델링하고 관측 모델에 공간 집계를 통합함으로써, 이 방법은 해상도가 낮은 데이터의 정밀한 보정을 가능하게 하며, 교차 도메인 전이 학습을 통해 성능을 향상시킨다.

ABSTRACT

We propose a probabilistic model for inferring the multivariate function from multiple areal data sets with various granularities. Here, the areal data are observed not at location points but at regions. Existing regression-based models can only utilize the sufficiently fine-grained auxiliary data sets on the same domain (e.g., a city). With the proposed model, the functions for respective areal data sets are assumed to be a multivariate dependent Gaussian process (GP) that is modeled as a linear mixing of independent latent GPs. Sharing of latent GPs across multiple areal data sets allows us to effectively estimate the spatial correlation for each areal data set; moreover it can easily be extended to transfer learning across multiple domains. To handle the multivariate areal data, we design an observation model with a spatial aggregation process for each areal data set, which is an integral of the mixed GP over the corresponding region. By deriving the posterior GP, we can predict the data value at any location point by considering the spatial correlations and the dependences between areal data sets, simultaneously. Our experiments on real-world data sets demonstrate that our model can 1) accurately refine coarse-grained areal data, and 2) offer performance improvements by using the areal data sets from multiple domains.

연구 동기 및 목표

• 다양한 도메인 간에 공간 해상도가 다른 다변량 영역 데이터를 모델링하는 데 도전하는 데 목적이 있다.
• 공유 잠재 가우시안 프로세스를 통해 여러 영역 데이터 세트 간의 공간 상관 구조를 효과적으로 공유하는 것을 목적으로 한다.
• 영역 관측치를 혼합 가우시안 프로세스의 공간 적분으로 모델링하는 통합 확률적 프레임워크를 개발하는 데 목적이 있다.
• 영역 데이터 세트 간의 의존성과 공간 상관 구조를 활용하여 예측 정확도를 향상시키는 데 목적이 있다.
• 다른 공간 도메인 간 전이 학습을 지원하기 위해 공유 잠재 공간 프로세스를 활용하는 데 목적이 있다.

제안 방법

• 모델은 다변량 영역 출력을 서로 독립적인 잠재 가우시안 프로세스의 선형 혼합으로 표현하여 데이터 세트 간 의존성을 포착한다.
• 각 영역 데이터 세트의 관측치는 해당 영역에 대한 혼합 가우시안 프로세스의 공간 적분(집계)으로 모델링된다.
• 공동 우도는 각 영역의 공간 영역에 걸쳐 혼합 GP를 통합하여 유도되며, 이는 영역 관측치의 일관된 모델링을 가능하게 한다.
• 후행 추론은 공간 상관 구조와 다변량 의존성을 통합한 폐쇄형 후행 GP를 사용하여 수행된다.
• 다른 해상도 또는 공간 도메인을 가진 도메인 간에 잠재 프로세스를 공유함으로써 전이 학습을 지원한다.
• 확장 가능한 추론을 위해 후행 분포를 근사하기 위해 변분 추론 방법을 사용한다.

실험 결과

연구 질문

• RQ1 다양한 도메인에서 공간 해상도가 다른 다변량 영역 데이터를 효과적으로 처리할 수 있는 통합 확률 모델이 존재하는가?
• RQ2 영역 데이터 설정에서 공간 상관 구조와 다중 데이터 세트 간 의존성을 어떻게 함께 모델링할 수 있는가?
• RQ3 공유 잠재 가우시안 프로세스가 해상도가 낮은 영역 데이터의 예측 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 이 모델은 이질적인 데이터 해상도를 가진 서로 다른 공간 도메인 간에 효과적인 전이 학습을 가능하게 하는가?
• RQ5 공간 집계 과정이 관측되지 않은 위치에서의 예측의 정밀도에 어떤 영향을 미치는가?

주요 결과

• 공간 상관 구조와 다변량 의존성을 활용함으로써, 모델은 해상도가 낮은 영역 데이터의 보정을 크게 향상시킨다.
• 다른 도메인의 다수의 영역 데이터 세트를 통합함으로써 단일 도메인 모델 대비 성능 향상을 달성한다.
• 공유 잠재 가우시안 프로세스의 사용은 다양한 공간 해상도를 가진 도메인 간 효과적인 전이 학습을 가능하게 한다.
• 후행 GP는 공간 상관 구조와 다중 데이터 세트 정보를 조합하여 임의의 위치에서 정확한 점 예측을 제공한다.
• 공간 집계 모델은 영역 관측치를 영역에 대한 적분으로 효과적으로 포착하여 모델의 현실 세계 데이터와의 일관성을 향상시킨다.