[论文解读] Learning Disentangled Representations of Satellite Image Time Series

Eduardo Hugo Sanchez, Mathieu Serrurier+1 more|arXiv (Cornell University)|Mar 21, 2019

Time Series Analysis and Forecasting参考文献 21被引用 3

一句话总结

该论文提出了一种新颖的 VAE-GAN 混合模型，结合跨域自编码器，从卫星图像时序数据中学习解耦表示，分离共享（共有的）和专属（图像特异的）特征。在 Sentinel-2 数据上进行训练后，该模型仅通过无监督预训练即可在下游任务（如分类、分割和变化检测）中实现最先进性能。

ABSTRACT

In this paper, we investigate how to learn a suitable representation of satellite image time series in an unsupervised manner by leveraging large amounts of unlabeled data. Additionally , we aim to disentangle the representation of time series into two representations: a shared representation that captures the common information between the images of a time series and an exclusive representation that contains the specific information of each image of the time series. To address these issues, we propose a model that combines a novel component called cross-domain autoencoders with the variational autoencoder (VAE) and generative ad-versarial network (GAN) methods. In order to learn disentangled representations of time series, our model learns the multimodal image-to-image translation task. We train our model using satellite image time series from the Sentinel-2 mission. Several experiments are carried out to evaluate the obtained representations. We show that these disentangled representations can be very useful to perform multiple tasks such as image classification, image retrieval, image segmentation and change detection.

研究动机与目标

• 从大量未标注的卫星图像时序数据中学习无监督的解耦表示。
• 将时序数据分解为共享表示（跨图像共有的部分）和专属表示（每个图像特有的部分）。
• 仅使用无监督特征实现图像分类、检索、分割和变化检测等下游任务。
• 在真实世界卫星数据（特别是 Sentinel-2 时序数据）上验证解耦特征的有效性。

提出的方法

• 该模型结合变分自编码器（VAE）与生成对抗网络（GAN），以学习具有解耦因子的低维潜在空间。
• 引入跨域自编码器组件，强制实现时序图像之间的图像到图像转换，从而实现共享特征与专属特征的解耦。
• 该架构支持多模态生成，使单个输入图像可生成对应不同时间点的多个合理输出。
• 通过共享编码器提取共享特征，而每个图像则通过专用编码器学习专属特征，从而实现解耦。
• 采用端到端训练方式，结合重建损失、对抗损失和 KL 散度正则化，以确保特征解耦与分布一致性。
• 该框架应用于 Sentinel-2 卫星图像时序数据，有效处理高维、大规模数据。

实验结果

研究问题

• RQ1 统一的深度生成模型能否在无监督条件下从卫星图像时序数据中学习解耦表示？
• RQ2 共享表示能否捕捉时序图像之间的共同时空与纹理模式，而专属表示能否编码时间特异性变化？
• RQ3 解耦表示是否能提升图像分类与变化检测等下游任务的性能？
• RQ4 该模型能否在具有不同时间动态特性的多样化卫星图像时序数据上实现泛化？

主要发现

• 仅使用无监督预训练和冻结的特征提取器，该模型在 EuroSAT 数据集上达到 92.38% 的准确率，显著优于随机初始化（62.13%）。
• 在 10 个周期内微调预训练的特征提取器后，准确率提升至 94.54%，证明了所学习特征的强大迁移能力。
• 使用共享特征进行无监督图像分割可获得视觉上连贯的结果，准确识别出上海的河流、港口和住宅区。
• 专属特征表示可实现一种简单而有效的基于 L1 距离的变化检测方法，生成视觉上连贯的变化图。
• 解耦表示在多个任务（包括分类、检索、分割和变化检测）中均表现出一致性能，且无需任何标注数据。
• 该模型成功处理高维 Sentinel-2 时序数据，展现出对大规模卫星数据的可扩展性与鲁棒性。