[논문 리뷰] GCD-DDPM: A Generative Change Detection Model Based on Difference-Feature Guided DDPM

Yihan Wen, Xianping Ma외 2명|arXiv (Cornell University)|2023. 06. 06.

Remote-Sensing Image Classification인용 수 4

한 줄 요약

이 논문은 차이 특징 유도 학습을 통해 직접적으로 고정확도의 변화 탐지 맵을 생성하는 새로운 생성적 변화 탐지 모델인 GCD-DDPM를 제안한다. 다중 척도 차이 조건부 인코딩과 노이즈 억제 기반 의미 강화 기법을 통합함으로써, GCD-DDPM는 윤곽 국소화와 특징 분류 성능을 향상시켜 네 개의 원격 감지 데이터셋에서 최신 기술 수준의 성능을 달성하며 F1 점수와 IoU에서 뚜렷한 향상을 이룬다.

ABSTRACT

Deep learning (DL)-based methods have recently shown great promise in bitemporal change detection (CD). Existing discriminative methods based on Convolutional Neural Networks (CNNs) and Transformers rely on discriminative representation learning for change recognition while struggling with exploring local and long-range contextual dependencies. As a result, it is still challenging to obtain fine-grained and robust CD maps in diverse ground scenes. To cope with this challenge, this work proposes a generative change detection model called GCD-DDPM to directly generate CD maps by exploiting the Denoising Diffusion Probabilistic Model (DDPM), instead of classifying each pixel into changed or unchanged categories. Furthermore, the Difference Conditional Encoder (DCE), is designed to guide the generation of CD maps by exploiting multi-level difference features. Leveraging the variational inference (VI) procedure, GCD-DDPM can adaptively re-calibrate the CD results through an iterative inference process, while accurately distinguishing subtle and irregular changes in diverse scenes. Finally, a Noise Suppression-based Semantic Enhancer (NSSE) is specifically designed to mitigate noise in the current step's change-aware feature representations from the CD Encoder. This refinement, serving as an attention map, can guide subsequent iterations while enhancing CD accuracy. Extensive experiments on four high-resolution CD datasets confirm the superior performance of the proposed GCD-DDPM. The code for this work will be available at https://github.com/udrs/GCD.

연구 동기 및 목표

• 기존 딥 러닝 모델이 변화 탐지에서 장거리 상관관계를 포착하고 세밀한 국소 세부 정보를 유지하는 데에 한계가 있음을 해결하기 위해.
• 단일 전진 계산에 의존하는 사전 훈련된 DDPM의 단점을 극복하여 반복적 개선의 이점을 누릴 수 있도록 하기 위해.
• 변분 추론과 유도된 특징 학습을 활용해 엔드 투 엔드 생성 프레임워크를 개발하여 직접적으로 고품질의 변화 탐지 맵을 생성하기 위해.
• 다중 척도 차이 특징 인코딩과 노이즈 억제 기반 기법을 통해 특징 표현과 윤곽 정확도를 향상시키기 위해.

제안 방법

• 모델는 변분 추론을 통해 훈련된 노이즈 제거 확률적 모델(Denoising Diffusion Probabilistic Model)을 활용하여 변화 탐지 맵을 반복적으로 생성함으로써 시간이 지남에 따라 특징 표현을 향상시킨다.
• 새로운 차이 특징 유도 조건부 인코더는 사전 및 사후 변화 이미지의 다중 수준 특징 차이를 통합하여 변화 인식 특징 표현을 강화한다.
• 적응형 校정 메커니즘은 세 가지 척도(SCALE1–SCALE3)의 차이 특징을 동적으로 융합하여 소형 및 비정형 객체 탐지 성능을 향상시킨다.
• 노이즈 억제 기반 의미 강화 기법(NSSE)은 현재 단계의 사전 지식을 활용하여 생성된 변화 맵의 고주파 노이즈를 억제한다.
• 주어진 픽셀 단위의 차이 연산을 적용하기 전에 정보 융합을 위해 주의 메커니즘을 사용함으로써 변화 영역의 동적 국소화를 가능하게 한다.
• 엔드 투 엔드 훈련은 사전 훈련이 필요 없으며, 변화 탐지의 생성 과정을 직접 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 확산 기반 생성 모델이 기존의 CNN 및 Transformer 기반 모델보다 변화 탐지에서 전반적인 맥락과 국소 윤곽 세부 정보를 동시에 더 잘 포착할 수 있는가?
• RQ2 다중 척도 차이 특징 인코딩은 변화 탐지 맵의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 제안된 노이즈 억제 기반 의미 강화 기법이 생성된 변화 맵의 품질을 어느 정도 향상시키는가?
• RQ4 변화 탐지에 대해 DDPM를 엔드 투 엔드로 훈련하는 것이 사전 훈련된 DDPM를 특징 추출기로 사용하는 것보다 성능을 더 좋게 만드는가?

주요 결과

• WHU 데이터셋에서 GCD-DDPM는 F1 점수 92.54%와 IoU 86.52%를 기록하여 NSSE 기반 모델이 없는 아블레이션 모델보다 각각 1.02%와 1.83% 높은 성능을 보였다.
• 아블레이션 연구를 통해 중간 척도(SCALE2)와 소형 척도(SCALE3)의 차이 특징을 함께 통합할 경우, 단지 SCALE3만 사용하는 것보다 성능 향상이 뚜렷하게 확인되었다.
• 완전한 GCD-DDPM 모델은 WHU 데이터셋에서 총 정확도 99.39%를 달성하여 다양한 시나리오에 걸쳐 강력한 일반화 능력을 보였다.
• DDPM-CD와 비교했을 때, GCD-DDPM는 계산 복잡도를 838.6 GFLOPs에서 269.5 GFLOPs로 감소시켜 더 효율적인 솔루션을 제공했으며, 파라미터 수가 더 많음에도 불구하고 성능 향상이 뚜렷했다.
• 네 개의 데이터셋(CDD, WHU, Levier, GVLM)에서의 광범위한 실험을 통해 GCD-DDPM는 F1 점수와 IoU 모두에서 최신 기술 수준의 모델들을 일관되게 능가하는 것으로 확인되었다.
• 시각적 결과에서는 GCD-DDPM가 모든 수준에서 더 구분력 있고 변화 인식 특징을 가진 맵을 생성했으며, 세밀한 구조를 유지하고 국소화 오차를 줄였다.