[論文レビュー] Augmenting correlation structures in spatial data using deep generative models

Konstantin Klemmer, Adriano Koshiyama+1 more|arXiv (Cornell University)|May 23, 2019

Land Use and Ecosystem Services参考文献 46被引用数 18

ひとこと要約

本稿では、隣接する特徴ベクトルを条件として用いることで、局所的な空間自己相関をよりよく捉えることのできる、空間的データ拡張を向上させる条件付き生成対抗ネットワークであるSpaceGANを提案する。訓練の安定化のため、新しい指標に基づく停止基準（MIE）を用い、地理空間予測タスクにおけるデータ拡張およびアンサンブル学習で優れた性能を示している。

ABSTRACT

State-of-the-art deep learning methods have shown a remarkable capacity to model complex data domains, but struggle with geospatial data. In this paper, we introduce SpaceGAN, a novel generative model for geospatial domains that learns neighbourhood structures through spatial conditioning. We propose to enhance spatial representation beyond mere spatial coordinates, by conditioning each data point on feature vectors of its spatial neighbours, thus allowing for a more flexible representation of the spatial structure. To overcome issues of training convergence, we employ a metric capturing the loss in local spatial autocorrelation between real and generated data as stopping criterion for SpaceGAN parametrization. This way, we ensure that the generator produces synthetic samples faithful to the spatial patterns observed in the input. SpaceGAN is successfully applied for data augmentation and outperforms compared to other methods of synthetic spatial data generation. Finally, we propose an ensemble learning framework for the geospatial domain, taking augmented SpaceGAN samples as training data for a set of ensemble learners. We empirically show the superiority of this approach over conventional ensemble learning approaches and rivaling spatial data augmentation methods, using synthetic and real-world prediction tasks. Our findings suggest that SpaceGAN can be used as a tool for (1) artificially inflating sparse geospatial data and (2) improving generalization of geospatial models.

研究の動機と目的

• 深層生成モデルを用いて地理空間データ内の複雑な空間相関構造をモデル化する挑戦に取り組む。
• 2次元点データにおける長距離および多次元空間的依存性を捉えることのできない標準的なGANの限界を克服する。
• 空間データの忠実度に特化した訓練安定化メカニズムを開発し、生成されたサンプルが局所的な空間自己相関を保持することを保証する。
• 低サンプル数の地理空間データセットに対する有効なデータ拡張を可能にし、モデルの一般化性能を向上させ、バイアスを低減する。
• SpaceGANで生成された合成サンプルをアンサンブル学習フレームワークに統合し、空間タスクにおける予測性能を向上させる。

提案手法

• 生成器を空間的近隣の特徴ベクトルに条件付け、より豊かな空間的文脈表現を可能にする。
• 生成器が局所的近隣特徴に条件付けられた合成サンプルを学習する条件付きGAN（cGAN）アーキテクチャを用いる。
• 実データと生成データの間の局所的空間自己相関（モランのI）の平均統合誤差（MIE）に基づく、新しい停止基準を導入する。
• 空間的自己相関をモランのIを用いて測定し、生成されたサンプルが観測された空間パターンをどの程度正確に反映しているかを定量化する。
• 敵対的損失とMIEに基づく早期停止を用いてGANを訓練し、空間的構造の忠実な再現を保証する。
• 得られた合成データを、空間予測のための新しいフレームワークにおいてベースラーナーのアンサンブルの訓練データとして適用する。

実験結果

リサーチクエスチョン

• RQ1 近隣特徴ベクトルに条件付けられた条件付きGANは、2次元地理空間点データにおける複雑な空間相関構造を効果的にモデル化・再現できるか？
• RQ2 提案されたMIEに基づく停止基準は、標準的なGAN訓練と比較して、訓練の安定性および空間パターン生成の忠実度を向上させるか？
• RQ3 SpaceGANで生成されたデータは、低データ量の地理空間予測タスクにおけるモデルの一般化性能をどの程度向上させるか？
• RQ4 SpaceGANで拡張されたデータを用いたアンサンブル学習フレームワークは、従来のアンサンブル手法と比較して空間予測において優れた性能を示すか？
• RQ5 提案手法は、明示的な空間座標を必要とせず、離散的および連続的空間ドメインの両方へ一般化可能か？

主な発見

• SpaceGANは、ベースライン手法（GP、空間的ブートストラップ、RMSEに基づくGAN）を上回り、合成データ上での空間相関構造の再現性が優れており、MIEスコアは（おもちゃ1）0.9921、（おもちゃ2）1.0097を記録した。
• カリフォルニア住宅データセットにおいて、SpaceGAN-MIEは15個の訓練サンプルで平均二乗誤差139,534（±12,026）を達成し、GP（159,340）と空間的ブートストラップ（148,830）を上回った。
• 50個の訓練サンプルで、SpaceGAN-MIEは誤差を128,756（±7,463）にまで低下させ、GP（156,814）と空間的ブートストラップ（148,546）を著しく上回った。
• SpaceGANで拡張されたデータを用いたアンサンブル学習フレームワークは、複数の空間予測タスクにおいて、従来のアンサンブル手法と比較して優れた予測性能を示した。
• 本手法は、サンプル外の地理空間的位置に対しても一般化でき、学習された空間表現の堅牢性と転送可能性を示している。
• MIEに基づく停止基準は、モード崩壊を効果的に防止し、実データの局所的空間自己相関が保持された生成サンプルを保証している。