[논문 리뷰] Conditional Denoising of Remote Sensing Imagery Using Cycle-Consistent Deep Generative Models

M. Yu. Zotov, Jevgenij Gamper|arXiv (Cornell University)|2019. 10. 31.

Image and Signal Denoising Methods인용 수 4

한 줄 요약

이 논문은 구름 투과 성분을 갖춘 스펙트럼 대역을 활용하여 구름이 낀 사이렌트-2 위성 영상에서 노이즈를 제거하기 위해 사이클 일관성 조건부 생성 모델을 제안한다. 적대적 훈련과 분류기 특징 공간에서의 프리에치 거리 기반 평가를 활용함으로써, 이 방법은 최신 기술 수준의 지형 분류 성능를 달성하고, 구름 및 그림자 영역의 효과적인 인painting을 보여주지만, 실무에서는 모드 붕괴 문제가 여전히 도전 과제로 남아 있다.

ABSTRACT

The potential of using remote sensing imagery for environmental modelling and for providing real time support to humanitarian operations such as hurricane relief efforts is well established. These applications are substantially affected by missing data due to non-structural noise such as clouds, shadows and other atmospheric effects. In this work we probe the potential of applying a cycle-consistent latent variable deep generative model (DGM) for denoising cloudy Sentinel-2 observations conditioned on the information in cloud penetrating bands. We adapt the recently proposed Fr\\'{e}chet Distance metric to remote sensing images for evaluating performance of the generator, demonstrate the potential of DGMs for conditional denoising, and discuss future directions as well as the limitations of DGMs in Earth science and humanitarian applications.

연구 동기 및 목표

• 고해상도 위성 영상에서 구름 및 그림자로 인한 데이터 손실 문제를 해결함으로써 환경 모니터링 및 인도적 지원 응용 분야의 성능을 향상시키기 위해.
• 구름 투과 성분을 활용하여 구름이 낀 관측치로부터 맑은 하늘 표면 반사율을 재구성하는 조건부 생성 모델을 개발하기 위해.
• 훈련된 이미지 분류기의 특징 공간에서 프리에치 거리 기반 신규 지표를 사용하여 생성 모델의 정합성을 평가함으로써, 생성된 영상 품질에 대한 강력한 평가 기준을 마련하기 위해.
• 노이즈 제거된 영상을 사용하여 BigEarthNet 데이터셋에서 지형 분류 성능를 최신 기술 수준으로 달성하기 위해.
• 딥 러닝 생성 모델의 지구 과학 응용 분야에서의 한계, 특히 모드 붕괴와 분포 이탈 문제를 규명하고未래 개선 방향을 제안하기 위해.

제안 방법

• 모델은 두 개의 생성자-판별자 쌍을 갖는 증강된 사이클 일관성 GAN(Aug CycleGAN)을 사용한다: 하나는 구름이 낀 영상을 맑은 영상으로 매핑하고, 다른 하나는 맑은 영상을 다시 구름이 낀 영상으로 매핑하여 사이클 일관성을 강제한다.
• 구름 및 그림자 위치를 모델링하기 위해 잠재 변수를 도입하고, 생성자는 관측된 구름 투과 성분을 조건으로 하여 재구성을 유도한다.
• 훈련 안정성 향상과 GAN 수렴 개선을 위해 합성곱 레이어에 스펙트럼 정규화를 적용한다.
• BigEarthNet 데이터셋에서의 짝지어진 소형 배치(구름이 낀 영상과 맑은 영상)를 사용하여 모델을 훈련하고, 재구성된 영상의 L1 손실을 통해 사이클 일관성을 강제한다.
• 실제 영상과 생성된 영상 분포 간의 프리에치 거리를 계산하기 위해 사전 훈련된 18층의 ResNet을 특징 추출기로 사용한다.
• 모델 평가에는 프리에치 거리와 인셉션 스코어를 모두 포함하며, 후자는 FD가 오해의 소지가 있을 경우 모드 붕괴를 탐지하는 데 사용된다.

실험 결과

연구 질문

• RQ1 사이클 일관성 조건부 생성 모델은 구름 투과 성분을 활용하여 사이렌트-2 영상에서 구름이 낀 상태의 맑은 하늘 표면 반사율을 효과적으로 재구성할 수 있는가?
• RQ2 분류기 특징 공간에서의 프리에치 거리 지표는 인간의 인지 또는 후행 작업 성능에 비해 생성된 위성 영상의 정합성 평가에 얼마나 효과적인가?
• RQ3 모드 붕괴는 노이즈 제거된 위성 영상 품질에 얼마나 큰 영향을 미치며, 다중 레이블 설정에서 인셉션 스코어와 같은 대체 지표가 이 문제를 더 잘 포착할 수 있는가?
• RQ4 기존의 구름 마스킹 또는 노이즈 제거 기법과 비교했을 때, 제안된 방법은 후행 지형 분류 정확도 측면에서 어떤가?
• RQ5 특히 분포 이탈과 클래스 불균형 문제 측면에서, 딥 러닝 생성 모델은 지구 관측 응용 분야에서 어떤 주요 한계를 지니는가?

주요 결과

• 노이즈 제거된 영상을 사용할 경우, 제안된 모델은 BigEarthNet 데이터셋에서 지형 분류 성능를 최신 기술 수준으로 달성하여 후행 작업에 대한 접근의 유용성을 입증한다.
• 프리에치 거리 지표는 분류기 특징 공간에서 실제 영상과 생성된 영상 간의 분포 유사성을 효과적으로 포착하여 신뢰할 수 있는 평가 기준을 제공한다.
• 낮은 프리에치 거리 스코어에도 불구하고 일부 모델은 구름 대신 밝은啡갈색 인paint 영역을 생성하여 모드 붕괴를 보였으며, 이는 FD만으로는 샘플 다양성을 평가하기에 부족함을 시사한다.
• 클래스 다양성을 측정하는 인셉션 스코어는 이 맥락에서 프리에치 거리보다 모드 붕괴를 더 잘 나타내는 지표로 밝혀져, 다중 지표 평가의 필요성을 시사한다.
• 모델은 [1,3], [1,1], [3,3] 이미지에서 구름 및 그림자 아래의 지형 특징을 성공적으로 재구성하지만, [2,1] 및 [1,2]에서 두꺼운 구름에 대해서는 어려움을 겪는다.
• 이미지 [3,2]에서의 모델 실패 사례는 일반화의 어려움을 드러내며, 향후 아키텍처 설계 및 훈련 전략 개선의 필요성을 강조한다.