[论文解读] Augmenting correlation structures in spatial data using deep generative models

Konstantin Klemmer, Adriano Koshiyama+1 more|arXiv (Cornell University)|May 23, 2019

Land Use and Ecosystem Services参考文献 46被引用 18

一句话总结

本文提出 SpaceGAN，一种条件生成对抗网络，通过基于邻近特征向量的条件控制来增强空间数据增强，更好地捕捉局部空间自相关性。它采用一种新颖的基于度量的停止准则（MIE）以稳定训练，并在地理空间预测任务的数据增强和集成学习方面表现出色。

ABSTRACT

State-of-the-art deep learning methods have shown a remarkable capacity to model complex data domains, but struggle with geospatial data. In this paper, we introduce SpaceGAN, a novel generative model for geospatial domains that learns neighbourhood structures through spatial conditioning. We propose to enhance spatial representation beyond mere spatial coordinates, by conditioning each data point on feature vectors of its spatial neighbours, thus allowing for a more flexible representation of the spatial structure. To overcome issues of training convergence, we employ a metric capturing the loss in local spatial autocorrelation between real and generated data as stopping criterion for SpaceGAN parametrization. This way, we ensure that the generator produces synthetic samples faithful to the spatial patterns observed in the input. SpaceGAN is successfully applied for data augmentation and outperforms compared to other methods of synthetic spatial data generation. Finally, we propose an ensemble learning framework for the geospatial domain, taking augmented SpaceGAN samples as training data for a set of ensemble learners. We empirically show the superiority of this approach over conventional ensemble learning approaches and rivaling spatial data augmentation methods, using synthetic and real-world prediction tasks. Our findings suggest that SpaceGAN can be used as a tool for (1) artificially inflating sparse geospatial data and (2) improving generalization of geospatial models.

研究动机与目标

• 利用深度生成模型解决地理空间数据中复杂空间相关结构建模的挑战。
• 克服标准 GAN 在捕捉二维点数据中长程和多维空间依赖性方面的局限性。
• 开发一种针对空间数据保真度的训练稳定机制，确保生成样本保留局部空间自相关性。
• 为低样本量地理空间数据集实现有效的数据增强，以提升模型泛化能力并减少偏差。
• 将 SpaceGAN 生成的合成样本整合到集成学习框架中，以提升空间任务中的预测性能。

提出的方法

• 将生成器条件化于空间邻近点的特征向量，而非原始坐标，以实现更丰富的空间上下文表征。
• 采用条件生成对抗网络（cGAN）架构，使生成器学习基于局部邻域特征生成合成样本。
• 提出一种基于真实数据与生成数据之间局部空间自相关性（莫兰指数 I）的均值积分误差（MIE）的新型停止准则。
• 使用莫兰指数（Moran’s I）度量空间自相关性，以量化生成样本反映观测空间模式的程度。
• 使用对抗损失和基于 MIE 的早停策略训练 GAN，以确保空间结构的忠实再现。
• 将生成的合成数据用作新型空间预测框架中基学习器集成的训练数据。

实验结果

研究问题

• RQ1 基于邻近特征向量条件化的条件 GAN 是否能有效建模并再现二维地理空间点数据中的复杂空间相关结构？
• RQ2 与标准 GAN 训练相比，所提出的基于 MIE 的停止准则是否能提升训练稳定性和空间模式生成的保真度？
• RQ3 SpaceGAN 生成的数据在低数据量地理空间预测任务中能在多大程度上提升模型泛化能力？
• RQ4 使用 SpaceGAN 增强数据的集成学习框架与传统集成方法相比，在空间预测中表现如何？
• RQ5 该方法是否能泛化至离散和连续空间域，而无需显式的空间坐标？

主要发现

• 在合成数据上，SpaceGAN 在再现空间相关结构方面优于基线方法（GP、空间自助法、基于 RMSE 的 GAN），MIE 得分为 0.9921（Toy 1）和 1.0097（Toy 2）。
• 在加州住房数据集上，SpaceGAN-MIE 在仅 15 个训练样本下达到 139,534（±12,026）的均方误差，优于 GP（159,340）和空间自助法（148,830）。
• 当训练样本增至 50 个时，SpaceGAN-MIE 将误差降低至 128,756（±7,463），显著优于 GP（156,814）和空间自助法（148,546）。
• 使用 SpaceGAN 增强数据的集成学习框架在多个空间预测任务中均表现出优于传统集成方法的预测性能。
• 该方法成功泛化至样本外地理空间位置，表明所学习的空间表征具有鲁棒性和可迁移性。
• 基于 MIE 的停止准则有效防止了模式崩溃，并确保生成样本保留真实数据的局部空间自相关性。