[論文レビュー] Cross-Sensor Adversarial Domain Adaptation of Landsat-8 and Proba-V images for Cloud Detection

Gonzalo Mateo‐García, Valero Laparra+2 more|arXiv (Cornell University)|Jan 1, 2020

Remote-Sensing Image Classification参考文献 65被引用数 34

ひとこと要約

本論文は、未ペアの CycleGAN ベースのドメイン適応を用いて Proba-V を Landsat-8 upscaled データと一致させ、センサー間の雲検出転送を改善する。

ABSTRACT

The number of Earth observation satellites carrying optical sensors with similar characteristics is constantly growing. Despite their similarities and the potential synergies among them, derived satellite products are often developed for each sensor independently. Differences in retrieved radiances lead to significant drops in accuracy, which hampers knowledge and information sharing across sensors. This is particularly harmful for machine learning algorithms, since gathering new ground truth data to train models for each sensor is costly and requires experienced manpower. In this work, we propose a domain adaptation transformation to reduce the statistical differences between images of two satellite sensors in order to boost the performance of transfer learning models. The proposed methodology is based on the Cycle Consistent Generative Adversarial Domain Adaptation (CyCADA) framework that trains the transformation model in an unpaired manner. In particular, Landsat-8 and Proba-V satellites, which present different but compatible spatio-spectral characteristics, are used to illustrate the method. The obtained transformation significantly reduces differences between the image datasets while preserving the spatial and spectral information of adapted images, which is hence useful for any general purpose cross-sensor application. In addition, the training of the proposed adversarial domain adaptation model can be modified to improve the performance in a specific remote sensing application, such as cloud detection, by including a dedicated term in the cost function. Results show that, when the proposed transformation is applied, cloud detection models trained in Landsat-8 data increase cloud detection accuracy in Proba-V.

研究の動機と目的

• 異なる衛星が放射測定量とテクスチャの分布シフトを生むリモートセンシングにおけるセンサー間転移学習を動機づける。
• ペアデータなしでセンサー間の差を低減するドメイン適応パイプラインを開発する。
• Landsat-8 で訓練された雲検出モデルが Proba-V 画像でより良く機能するよう、ターゲットドメインの変換を学習させる。

提案手法

• Landsat-8 を Proba-V のスペクトルおよび空間特性にアップスケールして LU データを訓練ドメインとして作成する。
• 未ペア設定で Proba-V を LU ドメインに合わせるため、サイクル整合性 GANs (G_PV->LU および G_LU->PV) を用いた敵対的ドメイン適応 (A) を設計する。
• 現実的でタスクに関連する翻訳を保証するため、アイデンティティ、サイクル、セグメンテーション整合性損失を組み込む。
• LU で訓練された雲検出器を用いる KL-divergence セグメンテーション損失を適用し、PV 変換を監督する。
• ペア付きセンサーを必要とせずに DA モデルを訓練・評価するために、グラウンドトゥルースデータセットと疑似同時ペアを提供する。

実験結果

リサーチクエスチョン

• RQ1 未ペアドメイン適応は Proba-V 画像を Landsat-8 upscaled 画像に似せ、雲検出の転送を改善するように変換できるか？
• RQ2 アイデンティティ損失、サイクル損失、セグメンテーション損失が、適応の質および下流の雲検出性能にどれだけ寄与するか？
• RQ3 提案された PV->LU 変換は、転送を効果的に行うのに十分な雲および空間-スペクトル情報を保持するか？
• RQ4 DA 変換が Proba-V 画像の放射測定分布および空間周波数成分に及ぼす影響は？
• RQ5 このアプローチは Landsat-8 と Proba-V の同時ペアなしで機能するか？

主な発見

• PV->LU 適応は青色の飽和を取り除き、Proba-V の放射量分布を Landsat-8 upscaled データに似せる。
• 適応後の PV 画像は、生データの PV より LU に近い高周波成分を示し、詳細転送が改善されていることを示唆する。
• DA 変換を適用することで、適応なしと比較して LU 訓練モデルの PV データに対する雲検出性能が向上する。
• このフレームワークは、アイデンティティ、サイクル、セグメンテーション損失の性能への役割を示すアブレーションをサポートする。
• この方法はペア付きセンサデータなしで動作し、DA モデルの訓練には疑似同時データセットを活用する。