[논문 리뷰] Cross-Sensor Adversarial Domain Adaptation of Landsat-8 and Proba-V images for Cloud Detection

Gonzalo Mateo‐García, Valero Laparra외 2명|arXiv (Cornell University)|2020. 01. 01.

Remote-Sensing Image Classification참고 문헌 65인용 수 34

한 줄 요약

본 논문은 CycleGAN 기반의 비쌍(unpaired) 도메인 적응을 통해 Proba-V를 Landsat-8 업스케일 데이터와 정렬하여 센서 간 cloud 검출 전달성을 향상시킨다.

ABSTRACT

The number of Earth observation satellites carrying optical sensors with similar characteristics is constantly growing. Despite their similarities and the potential synergies among them, derived satellite products are often developed for each sensor independently. Differences in retrieved radiances lead to significant drops in accuracy, which hampers knowledge and information sharing across sensors. This is particularly harmful for machine learning algorithms, since gathering new ground truth data to train models for each sensor is costly and requires experienced manpower. In this work, we propose a domain adaptation transformation to reduce the statistical differences between images of two satellite sensors in order to boost the performance of transfer learning models. The proposed methodology is based on the Cycle Consistent Generative Adversarial Domain Adaptation (CyCADA) framework that trains the transformation model in an unpaired manner. In particular, Landsat-8 and Proba-V satellites, which present different but compatible spatio-spectral characteristics, are used to illustrate the method. The obtained transformation significantly reduces differences between the image datasets while preserving the spatial and spectral information of adapted images, which is hence useful for any general purpose cross-sensor application. In addition, the training of the proposed adversarial domain adaptation model can be modified to improve the performance in a specific remote sensing application, such as cloud detection, by including a dedicated term in the cost function. Results show that, when the proposed transformation is applied, cloud detection models trained in Landsat-8 data increase cloud detection accuracy in Proba-V.

연구 동기 및 목표

• 방사 및 질감에서 분포 변화가 발생하는 원격 탐사에서 센서 간 전이 학습의 동기를 제시한다.
• paired 데이터 없이도 도메인 적응 파이프라인을 개발한다.
• Landsat-8에서 학습된 구름 검출 모델이 Proba-V 영상에서도 더 잘 작동하도록 목표 도메인 변환을 학습한다.

제안 방법

• Landsat-8을 Proba-V의 스펙트ral 및 공간 속성으로 업스케일해 LU 데이터를 교육 도메인으로 만든다.
• Cycle-consistent GAN(G_PV->LU와 G_LU->PV)을 사용한 적대적 도메인 적응(A)을 설계하여 비쌍 설정에서 Proba-V를 LU 도메인과 일치시킨다.
• 현실적이고 작업에 관련된 변환을 강제하기 위해 아이덴티티(identity), 사이클(cycle), 및 세분화(segmentation) 일관성 손실을 도입한다.
• KL-발산 세분화 손실을 LU에서 학습된 구름 탐지기를 사용해 PV 번역을 감독하는 데 적용한다.
• 대상 DA 모델을 paired 센서가 필요 없이 학습하고 평가하기 위해 ground-truth 데이터세트와 의사-동시 쌍을 제공한다.

실험 결과

연구 질문

• RQ1 비쌍 도메인 적응이 Proba-V 이미지를 Landsat-8 업스케일 이미지와 닮아 구름 검출 전달을 향상시킬 수 있는가?
• RQ2 아이덴티티, 사이클, 및 세분화 손실이 적응 품질 및 다운스트림 구름 검출 성능에 얼마나 기여하는가?
• RQ3 제안된 PV->LU 변환이 구름과 공간-분광 정보를 충분히 보존하여 효과적인 전달이 가능한가?
• RQ4 DA 변환이 Proba-V 이미지의 방사특성 분포와 공간 주파수 구성에 어떤 영향을 미치는가?
• RQ5 접근 방식이 Landsat-8과 Proba-V의 동시 쌍 없이도 작동하는가?

주요 결과

• PV->LU 적응은 파란색 포화도를 제거하고 Proba-V 방사도 분포를 Landsat-8 업스케일 데이터와 유사하게 만든다.
• 적응된 PV 이미지는 LU에 더 가까운 고주파 콘텐츠를 보여 원시 PV보다 더 상세한 전달이 개선되었음을 시사한다.
• DA 변환을 적용하면 LU에서 학습된 모델의 구름 검출 성능이 PV 데이터에서 향상되며, 적응 없이보다 나은 성능을 보여준다.
• 프레임워크는 아이덴티티, 사이클, 세분화 손실의 역할을 성능에 반영하는 재설정(ablation)을 지원한다.
• 이 방법은 paired 센서 데이터 없이 작동하며 DA 모델 학습에 의사-동시 데이터 세트를 활용한다.