[논문 리뷰] Self-supervised Remote Sensing Images Change Detection at Pixel-level

Yuxing Chen, Lorenzo Bruzzone|arXiv (Cornell University)|2021. 05. 18.

Remote-Sensing Image Classification참고 문헌 36인용 수 13

한 줄 요약

이 논문은 벡터 양자화와 불확실성 모델링을 통합한 시아모이즈 ResUnet 아키텍처를 사용하여 원격 감지 변화 탐지에 대한 새로운 픽셀 수준의 자기지도 학습 대비 학습 방법을 제안한다. 픽셀 수준에서 대비 손실을 적용하고 Rosin 임계치를 활용함으로써, OSCD, MUDS 및 캘리포니아 홍수 데이터셋에서 최신 기술 수준의 정확도와 효율성을 달성하였으며, 조각 수준의 방법보다 빠르고 계절 변화에 더 강인한 성능을 보였다.

ABSTRACT

Deep learning techniques have achieved great success in remote sensing image change detection. Most of them are supervised techniques, which usually require large amounts of training data and are limited to a particular application. Self-supervised methods as an unsupervised approach are popularly used to solve this problem and are widely used in unsupervised binary change detection tasks. However, the existing self-supervised methods in change detection are based on pre-tasks or at patch-level, which may be sub-optimal for pixel-wise change detection tasks. Therefore, in this work, a pixel-wise contrastive approach is proposed to overcome this limitation. This is achieved by using contrastive loss in pixel-level features on an unlabeled multi-view setting. In this approach, a Siamese ResUnet is trained to obtain pixel-wise representations and to align features from shifted positive pairs. Meanwhile, vector quantization is used to augment the learned features in two branches. The final binary change map is obtained by subtracting features of one branch from features of the other branch and using the Rosin thresholding method. To overcome the effects of regular seasonal changes in binary change maps, we also used an uncertainty method to enhance the temporal robustness of the proposed approach. Two homogeneous (OSCD and MUDS) datasets and one heterogeneous (California Flood) dataset are used to evaluate the performance of the proposed approach. Results demonstrate improvements in both efficiency and accuracy over the patch-wise multi-view contrastive method.

연구 동기 및 목표

• 기존 자기지도 학습 변화 탐지 방법이 픽셀 수준이 아닌 조각 수준에서 작동한다는 한계를 해결하기 위해.
• 라벨이 없는 데이터가 필요 없이 비지도 특징 학습이 가능한 픽셀 수준의 대비 학습 프레임워크를 개발하기 위해.
• 알레아토릭 불확실성 추정을 통합하여 계절 변화에 대한 강인성을 향상시키기 위해.
• 기존 자기지도 및 지도 학습 방법보다 계산 비용을 줄이고 높은 성능의 변화 탐지 성능를 달성하기 위해.

제안 방법

• 두 개의 이동된 시각을 갖는 다시시간 원격 감지 영상에서 픽셀 수준의 표현을 추출하기 위해 시아모이즈 ResUnet을 훈련한다.
• 대비 손실을 픽셀 수준의 특징에 직접 적용하여, 동일한 공간 위치에서의 양성 쌍(positive pairs)을 정렬하고 부정성 쌍(negative pairs)을 분리하도록 유도한다.
• 양측 브랜치의 특징을 증강하기 위해 벡터 양자화를 사용하여 특징의 다양성을 증가시키고 표현 학습을 향상시킨다.
• 최종 변화 지ap은 한 브랜치의 특징에서 다른 브랜치의 특징을 빼고, 이중 분류를 위해 Rosin 임계치를 적용함으로써 생성된다.
• 훈련 중에 알레아토릭 불확실성 추정을 수행하여 계절 변화가 심한 영역(예: 농경지)을 식별하고, 잘못된 경고를 줄인다.
• 불확실성 인식 특징 지ap을 사용하여 변화 탐지 결과를 보완함으로써 시간적 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 조각 수준의 방법과 비교할 때 픽셀 수준의 대비 학습이 자기지도 학습 원격 감지 변화 탐지의 정확도와 효율성을 향상시킬 수 있는가?
• RQ2 불확실성 추정을 통합함으로써 변화 탐지 모델이 정기적인 계절 변화에 대해 얼마나 강인해지는가?
• RQ3 다중 센서 및 다중 시간적 변화 탐지에서 픽셀 수준의 대비 손실이 조각 수준 또는 이미지 수준의 대비 학습보다 성능 향상에 기여하는가?
• RQ4 이상적인 이질적 및 동질적 데이터셋에서 최신 기술 수준의 지도 학습 및 자기지도 학습 기반 모델과 비교할 때 효율성과 정확도에서 본 방법은 어떻게 성과를 내는가?
• RQ5 대비 학습과 불확실성 모델링의 조합이 홍수와 같은 실제 환경에서 더 신뢰할 수 있고 노이즈가 적은 변화 지도를 생성하는가?

주요 결과

• 제안된 PixSSL 방법은 OSCD 데이터셋에서 Kappa 계수 0.50을 달성하여 PatchSSL(0.48)과 CAA(0.29)를 앞서며, 계산 비용도 크게 낮췄다.
• MUDS 데이터셋에서 Rosin 임계치를 사용한 PixSSL는 F1 점수 0.50과 OA 94.26%를 기록하여 PatchSSL 및 OTSU 기반 방법을 능가했다.
• Inference 시간과 MACs를 PatchSSL 대비 99% 이상 감소시켰으며, 84.9 GFLOPs 대비 8026.1 GFLOPs로 훨씬 낮은 계산량을 확보했다.
• 불확실성 인식 보정으로 수면 및 계절 식생 영역에서의 잘못된 경고가 감소하였으며, 특히 복잡한 도시 및 홍수 영향 지역에서의 탐지 성능이 향상되었다.
• 정성적 결과 분석에서 PixSSL는 PatchSSL 및 CAA보다 더 선명하고 정확한 변화 지도를 생성하였으며, 고립된 홍수 지역과 같은 소규모 변화 탐지에서 뛰어난 성능를 보였다.
• Rosin 임계치 방법는 OTSU를 능가하여 다양한 데이터셋과 시나리오에서 더 강인하고 일관된 이중 분류 변화 지도를 제공했다.