[논문 리뷰] DDPM-CD: Denoising Diffusion Probabilistic Models as Feature Extractors for Change Detection

Wele Gedara Chaminda Bandara, Nithin Gopalakrishnan Nair외 1명|arXiv (Cornell University)|2022. 06. 23.

Time Series Analysis and Forecasting인용 수 33

한 줄 요약

이 논문은 사전 학습된 Denoising Diffusion Probabilistic Models (DDPMs)을 자체 감독 특징 추출기로 사용하여 경량 변화 탐지기를 구축하고, 네 가지 공개 원격 탐지 데이터셋에서 최첨단 결과를 달성한다.

ABSTRACT

Remote sensing change detection is crucial for understanding the dynamics of our planet's surface, facilitating the monitoring of environmental changes, evaluating human impact, predicting future trends, and supporting decision-making. In this work, we introduce a novel approach for change detection that can leverage off-the-shelf, unlabeled remote sensing images in the training process by pre-training a Denoising Diffusion Probabilistic Model (DDPM) - a class of generative models used in image synthesis. DDPMs learn the training data distribution by gradually converting training images into a Gaussian distribution using a Markov chain. During inference (i.e., sampling), they can generate a diverse set of samples closer to the training distribution, starting from Gaussian noise, achieving state-of-the-art image synthesis results. However, in this work, our focus is not on image synthesis but on utilizing it as a pre-trained feature extractor for the downstream application of change detection. Specifically, we fine-tune a lightweight change classifier utilizing the feature representations produced by the pre-trained DDPM alongside change labels. Experiments conducted on the LEVIR-CD, WHU-CD, DSIFN-CD, and CDD datasets demonstrate that the proposed DDPM-CD method significantly outperforms the existing state-of-the-art change detection methods in terms of F1 score, IoU, and overall accuracy, highlighting the pivotal role of pre-trained DDPM as a feature extractor for downstream applications. We have made both the code and pre-trained models available at https://github.com/wgcban/ddpm-cd

연구 동기 및 목표

• DDPM 사전 학습을 통해 라벨이 없는 원격 탐지 이미지에서 강력하고 전이 가능한 특징을 학습한다.
• 전 변화 이미지와 후 변화 이미지에 대해 다중 스케일 및 다중 타임스텝 DDPM 특징을 활용한다.
• DDPM 유도 특징 위에 가벼운 변화 탐지기를 미세조정한다.
• LEVIR-CD, WHU-CD, DSIFN-CD 및 CDD에서 성능 향상을 입증한다.
• 재현성을 위해 코드와 사전 학습 모델을 제공한다.

제안 방법

• 레이블이 없는 ~500k의 오프 더 셸 Sentinel-2 RGB 패치를 대상으로 무조건 픽셀 공간 DDPM을 사전 학습한다.
• 전 변화 및 후 변화 이미지에서 frozen DDPM 디코더를 여러 타임스텝 t0,…,tn에서 사용해 다중 스케일(i in {0,…,4}) 및 다중 타임스텝 특징을 추출한다.
• 다중 스케일, 다중 타임스텝 특징을 융합하고 변화 특징 맵을 생성하기 위해 다섯 개 블록으로 구성된 계층적 변화 디코더를 구성한다.
• 스케일별 및 타임스텝별 특징 차이를 계산한 후 주의 기반 재보정(cSE 및 sSE) 및 이진 교차 엔트로피로 학습된 최종 변화 분류기를 적용한다.
• DDPM 유도 특징 위에서 지상 트루스 변화 라벨을 사용해 가벼운 변화 디코더와 분류기를 미세 조정한다.
• LEVIR-CD, WHU-CD, DSIFN-CD 및 CDD에서 평가하여 최첨단 방법과 비교한다.

실험 결과

연구 질문

• RQ1 DDPM 사전 학습 특징이 기존의 감독형 또는 다른 자기 감독 기반 베이스라인에 비해 우수한 변화 탐지 성능을 제공할 수 있는가?
• RQ2 다중 스케일 및 다중 타임스텝 DDPM 특징이 변화 탐지 정확도와 내실성에 어떤 영향을 미치는가?
• RQ3 특징 추출 중 DDPM을 고정하는 것이 후속 변화 탐지 성능에 영향을 미치는가?
• RQ4 학습된 표현이 일반적인 원격 탐지 교란(조도, 노이즈, 정합 오차, 계절 변화)에 대해 강건한가?

주요 결과

• DDPM-CD는 F1 점수, IoU 및 전체 정확도 측면에서 네 가지 공개 데이터셋에서 기존 최첨단 변화 탐지 방법을 크게 능가한다.
• 다중 스케일, 다중 타임스텝 DDPM 특징은 변화 전후 이미지에 대해 판별력이 높고 강인한 표현을 제공한다.
• 주의 메커니즘을 갖춘 계층적 변화 디코더는 스케일 간 특징을 효과적으로 융합하여 정확한 변화 맵을 생성한다.
• 고정된 DDPM 특징 위에 매우 가벼운 분류기에 의한 미세 조정만으로도 강력한 성능을 달성한다.
• 재현성을 위한 코드와 사전 학습 모델이 프로젝트 페이지에서 제공된다.