[논문 리뷰] Augmenting correlation structures in spatial data using deep generative models

Konstantin Klemmer, Adriano Koshiyama외 1명|arXiv (Cornell University)|2019. 05. 23.

Land Use and Ecosystem Services참고 문헌 46인용 수 18

한 줄 요약

이 논문은 이웃 특성 벡터를 조건으로 삼아 국소적 공간 자율상관관계를 더 잘 포착할 수 있도록 공간 데이터 증강을 향상시키는 조건부 생성 적대적 네트워크인 SpaceGAN을 소개한다. 학습을 안정화하기 위해 새로운 지표 기반 정지 기준(MIE)을 사용하며, 지오스페이셜 예측 작업에서 데이터 증강 및 앙상블 학습에서 뛰어난 성능을 보여준다.

ABSTRACT

State-of-the-art deep learning methods have shown a remarkable capacity to model complex data domains, but struggle with geospatial data. In this paper, we introduce SpaceGAN, a novel generative model for geospatial domains that learns neighbourhood structures through spatial conditioning. We propose to enhance spatial representation beyond mere spatial coordinates, by conditioning each data point on feature vectors of its spatial neighbours, thus allowing for a more flexible representation of the spatial structure. To overcome issues of training convergence, we employ a metric capturing the loss in local spatial autocorrelation between real and generated data as stopping criterion for SpaceGAN parametrization. This way, we ensure that the generator produces synthetic samples faithful to the spatial patterns observed in the input. SpaceGAN is successfully applied for data augmentation and outperforms compared to other methods of synthetic spatial data generation. Finally, we propose an ensemble learning framework for the geospatial domain, taking augmented SpaceGAN samples as training data for a set of ensemble learners. We empirically show the superiority of this approach over conventional ensemble learning approaches and rivaling spatial data augmentation methods, using synthetic and real-world prediction tasks. Our findings suggest that SpaceGAN can be used as a tool for (1) artificially inflating sparse geospatial data and (2) improving generalization of geospatial models.

연구 동기 및 목표

• 딥 생성 모델을 사용하여 지오스페이셜 데이터의 복잡한 공간 상관관계 구조를 모델링하는 데 도전한다.
• 2차원 점 데이터에서 장거리 및 다차원 공간 의존성을 포착하는 데 있어 표준 GAN의 한계를 극복한다.
• 생성된 샘플이 국소적 공간 자율상관관계를 유지하도록 하는 공간 데이터 무결성에 특화된 학습 안정화 기법을 개발한다.
• 저표본 지오스페이셜 데이터셋을 위한 효과적인 데이터 증강을 가능하게 하여 모델 일반화 능력을 향상시키고 편향을 줄인다.
• SpaceGAN에서 생성된 합성 샘플을 앙상블 학습 프레임워크에 통합하여 공간 작업의 예측 성능을 향상시킨다.

제안 방법

• 생성자에 원시 좌표가 아니라 공간 이웃의 특성 벡터를 조건으로 삼아 더 풍부한 공간적 맥락 표현을 가능하게 한다.
• 생성자가 국소적 이웃 특성에 조건부로 합성 샘플을 생성하도록 하는 조건부 GAN(cGAN) 아키텍처를 사용한다.
• 실제 데이터와 생성된 데이터 간의 국소적 공간 자율상관관계(Moran’s I)에 대한 평균 통합 오차(MIE) 기반의 새로운 정지 기준을 도입한다.
• 공간 자율상관관계를 측정하기 위해 Moran’s I를 사용하여 생성된 샘플이 관측된 공간 패턴을 얼마나 잘 반영하는지 정량화한다.
• 적대적 손실과 MIE 기반의 조기 정지 기법을 사용하여 학습을 진행함으로써 공간 구조의 충실한 재현을 보장한다.
• 최종적으로 생성된 합성 데이터를 새로운 공간 예측 프레임워크에서 기반 학습기의 앙상블 학습 데이터로 활용한다.

실험 결과

연구 질문

• RQ1 이웃 특성 벡터를 조건으로 삼는 조건부 GAN이 2차원 지오스페이셜 점 데이터에서 복잡한 공간 상관관계 구조를 효과적으로 모델링하고 재현할 수 있는가?
• RQ2 제안된 MIE 기반 정지 기준이 표준 GAN 학습 대비 학습 안정성과 공간 패턴 생성의 충실도를 향상시키는가?
• RQ3 SpaceGAN이 생성한 데이터가 저자료 지오스페이셜 예측 작업에서 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 SpaceGAN 증강 데이터를 활용한 앙상블 학습 프레임워크는 기존의 앙상블 방법과 비교해 공간 예측에서 어떤가?
• RQ5 제안된 방법이 명시적인 공간 좌표가 없이도 이산적 및 연속적 공간 영역 모두에 일반화 가능한가?

주요 결과

• SpaceGAN은 기준 방법(GP, 공간 부트스트랩, RMSE 기반 GAN)보다 공간 상관관계 구조 재현에서 뛰어나며, 합성 데이터에서 MIE 점수는 토이 1에서 0.9921, 토이 2에서 1.0097를 기록했다.
• 캘리포니아 주택 데이터셋에서 SpaceGAN-MIE는 15개의 훈련 샘플로 평균 제곱오차 139,534 (±12,026)를 기록했으며, GP(159,340)와 공간 부트스트랩(148,830)을 모두 초월했다.
• 50개의 훈련 샘플로 설정했을 때 SpaceGAN-MIE는 오차를 128,756 (±7,463)으로 줄였으며, GP(156,814)와 공간 부트스트랩(148,546)보다 유의미하게 뛰어났다.
• SpaceGAN 증강 데이터를 활용한 앙상블 학습 프레임워크는 다양한 공간 예측 작업에서 기존의 앙상블 방법보다 뛰어난 예측 성능을 보였다.
• 이론적으로 외부 샘플 지오스페이셜 위치로도 성능이 유지되어 학습된 공간 표현의 강건성과 이식 가능성(transferability)을 입증했다.
• MIE 기반 정지 기준은 모드 붕괴를 효과적으로 방지하며, 생성된 샘플이 실재 데이터의 국소적 공간 자율상관관계를 유지함을 보장했다.