[논문 리뷰] Unsupervised Change Detection in Satellite Images with Generative Adversarial Network

Caijun Ren, Xiangyu Wang외 2명|arXiv (Cornell University)|2020. 09. 08.

Remote-Sensing Image Classification참고 문헌 57인용 수 67

한 줄 요약

이 논문은 이미지 비정렬의 영향을 줄이기 위해 코어지스터드 위성 이미지 쌍을 생성하는 GAN 기반 비지도 변화 탐지 프레임워크를 제안한다. 확장 전략과 이미지 클립을 사용하는 판별자로 훈련된 GAN을 통해 실제적이고 정렬된 이미지를 생성함으로써, 단순한 비교를 통해 변화가 쉽게 탐지되도록 하였으며, 합성 및 실세계 데이터에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Detecting changed regions in paired satellite images plays a key role in many remote sensing applications. The evolution of recent techniques could provide satellite images with very high spatial resolution (VHR) but made it challenging to apply image coregistration, and many change detection methods are dependent on its accuracy.Two images of the same scene taken at different time or from different angle would introduce unregistered objects and the existence of both unregistered areas and actual changed areas would lower the performance of many change detection algorithms in unsupervised condition.To alleviate the effect of unregistered objects in the paired images, we propose a novel change detection framework utilizing a special neural network architecture -- Generative Adversarial Network (GAN) to generate many better coregistered images. In this paper, we show that GAN model can be trained upon a pair of images through using the proposed expanding strategy to create a training set and optimizing designed objective functions. The optimized GAN model would produce better coregistered images where changes can be easily spotted and then the change map can be presented through a comparison strategy using these generated images explicitly.Compared to other deep learning-based methods, our method is less sensitive to the problem of unregistered images and makes most of the deep learning structure.Experimental results on synthetic images and real data with many different scenes could demonstrate the effectiveness of the proposed approach.

연구 동기 및 목표

• 이미지 비정렬로 인해 성능이 저하되는 위성 이미지에서의 비지도 변화 탐지 과제를 해결한다.
• 정밀한 이미지 코어지스터링에 의존하지 않도록, 딥 생성 모델링을 활용해 합성된 코어지스터드 이미지 쌍을 생성한다.
• GAN의 생성 능력을 활용해 오직 변화된 영역만 다른 다양한 실제적인 이미지 변형을 생성한다.
• 생성된 이미지의 일관된 공간 정렬을 활용해 실제 변화를 효과적으로 분리하는 비교 전략을 개발한다.
• 정답 변화 레이블이 필요 없이 다양한 실세계 및 합성 위성 이미지 데이터셋에서의 강건성과 효과성을 입증한다.

제안 방법

• 랜덤한 이미지 클립을 자르는 방식으로 단일 이미지 쌍으로부터 더 큰 훈련 세트를 생성하기 위해 확장 전략을 적용한다.
• 랜덤 노이즈 벡터에서 코어지스터드 이미지를 합성하는 생성자와 클리핑된 패치를 사용해 이미지의 현실성 평가를 수행하는 판별자를 갖춘 GAN을 훈련한다.
• 공간 정렬을 유지하기 위해 리프시츠 제약과 클립 기반 일관성 손실을 포함한 수정된 WGAN 목표함수로 판별자를 최적화한다.
• 생성된 이미지 쌍에 비교 전략을 적용하여 동일한 공간 위치에서의 픽셀 단위 차이를 탐지함으로써 최종 변화 지apap을 생성한다.
• 입력 이미지 분포와 정렬된 이미지를 생성하도록 학습하는 조건부 생성자를 활용하여 이동 아티팩트를 최소화한다.
• 다양한 크기의 이미지 클립(예: 32×32, 64×64, 128×128)을 처리하는 다중 해상도 판별자를 통합하여 세부 사항 복구 및 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 비정렬의 영향을 줄이기 위해 코어지스터드 위성 이미지 쌍을 효과적으로 생성할 수 있는가?
• RQ2 판별자에서 이미지 클립을 사용할 경우 생성된 이미지의 공간 일관성과 현실감이 어떻게 향상되는가?
• RQ3 기존의 비지도 변화 탐지 기법에 비해 제안된 방법은 비정렬 이미지 쌍에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 판별자에서 사용하는 이미지 클립의 최적 크기와 전략는 세부 사항 보존과 훈련 안정성 간의 균형을 어떻게 달성하는가?
• RQ5 생성자는 변화된 영역만 다를 뿐 공간 정렬을 유지하는 다양한 이미지 변형을 학습하여 생성할 수 있는가?

주요 결과

• 제안된 방법은 실세계 위성 이미지 데이터셋에서 평균 F1 스코어 0.6226을 달성하여 PCA-Kmeans 및 DSFA와 같은 베이스라인 방법보다 뚜렷이 뛰어났다.
• 도시, 농촌, 재해 영향을 받은 지역 등 다양한 환경에서 강건성을 보였으며, 합성 및 실세계 데이터 모두에서 일관된 성능을 유지했다.
• 판별자에서 64×64 이미지 클립 사용이 세부 사항 복구와 훈련 안정성 간의 최적 균형을 이끌어내어 32×32 및 128×128 클립보다 뛰어난 성능을 보였다.
• 생성자는 공간 일관성을 유지하면서 실제적인 코어지스터드 이미지를 생성하여 단순한 픽셀 단위 비교를 통해 정확한 변화 탐지가 가능하게 하였다.
• 실행 시간은 PCA-Kmeans 대비 20.8배 높았지만, 총 훈련 시간은 20분, 훈련 후 추론 시간은 2초로 실세계 적용에 실용적이었다.
• 매우 큰 다양성 있는 데이터셋(예: 6,000장의 이미지 쌍)에서 훈련할 경우 분포 이탈과 미니배치 제약로 인해 생성자가 수렴하지 못하는 한계를 보였다.