[論文レビュー] Learning Disentangled Representations of Satellite Image Time Series

Eduardo Hugo Sanchez, Mathieu Serrurier+1 more|arXiv (Cornell University)|Mar 21, 2019

Time Series Analysis and Forecasting参考文献 21被引用数 3

ひとこと要約

本論文は、衛星画像時系列から分離可能な表現を学習するための新しいVAE-GANハイブリッドモデルを提案する。クロスドメインオートエンコーダーを用いて、共通（共通の）および排他的（画像固有の）特徴を分離する。Sentinel-2データで訓練されたモデルは、教師なし事前学習のみを用いて、分類、セグメンテーション、変化検出などの下流タスクで最先端の性能を達成する。

ABSTRACT

In this paper, we investigate how to learn a suitable representation of satellite image time series in an unsupervised manner by leveraging large amounts of unlabeled data. Additionally , we aim to disentangle the representation of time series into two representations: a shared representation that captures the common information between the images of a time series and an exclusive representation that contains the specific information of each image of the time series. To address these issues, we propose a model that combines a novel component called cross-domain autoencoders with the variational autoencoder (VAE) and generative ad-versarial network (GAN) methods. In order to learn disentangled representations of time series, our model learns the multimodal image-to-image translation task. We train our model using satellite image time series from the Sentinel-2 mission. Several experiments are carried out to evaluate the obtained representations. We show that these disentangled representations can be very useful to perform multiple tasks such as image classification, image retrieval, image segmentation and change detection.

研究の動機と目的

• 大量のラベルなし衛星画像時系列から教師なしで分離可能な表現を学習すること。
• 時系列を、共通の表現（画像間で共通するもの）と排他的な表現（各画像固有のもの）に分離すること。
• 分類、リtrieval、セグメンテーション、変化検出などの下流タスクを、教師なし特徴のみで実行可能にする。
• 特にSentinel-2時系列のような実世界の衛星データにおいて、分離可能な特徴の有効性を実証すること。

提案手法

• 変分オートエンコーダー（VAE）と生成的対抗ネットワーク（GAN）を統合することで、分離可能な要因を有する低次元の潜在空間を学習する。
• クロスドメインオートエンコーダー部を導入し、時系列画像間での画像対画像変換を強制することで、共通特徴と排他的特徴の分離を実現する。
• マルチモーダル生成をサポートし、1つの入力画像から異なる時系列に対応する複数の妥当な出力を生成可能にする。
• 共通特徴は共通エンコーダーで抽出され、排他的特徴は各画像ごとに専用エンコーダーで学習され、分離が可能になる。
• 再構成損失、対抗損失、KLダイバージェンス正則化を用いて、エンドツーエンドで訓練することで、分離性と分布の一貫性を保証する。
• このフレームワークは、高次元で大規模なデータを効果的に処理できるSentinel-2衛星画像時系列に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 統合された深層生成モデルは、教師なしで衛星画像時系列から分離可能な表現を学習できるか？
• RQ2 共通表現は、時系列画像間で共通する空間的・テクスチャ的パターンを捉えることができ、排他的表現は時系列固有の変化を符号化できるか？
• RQ3 分離可能な表現は、画像分類や変化検出などの下流タスクで性能向上をもたらすか？
• RQ4 時間的ダイナミクスが異なる多様な衛星画像時系列に、モデルは一般化可能か？

主な発見

• 特徴抽出器を凍結した状態で、教師なし事前学習のみを用いてEuroSATデータセットで92.38％の精度を達成し、ランダム初期化（62.13％）を著しく上回った。
• 事前学習済み特徴抽出器の微調整により、10エポック以内で精度が94.54％に向上し、学習済み特徴の優れた転送性を示した。
• 共通特徴を用いた教師なし画像セグメンテーションは、視覚的に整合性のある結果をもたらし、上海の河川、港、住宅地域を正しく同定した。
• 排他的特徴表現により、L1距離を用いたシンプルで効果的な変化検出手法が可能となり、視覚的に整合性のある変化マップが得られた。
• 分離可能な表現により、ラベルなしデータのみで分類、リtrieval、セグメンテーション、変化検出の複数のタスクで一貫した性能が得られた。
• 高次元のSentinel-2時系列を効果的に処理でき、大規模衛星データに対するスケーラビリティとロバストネスを示した。