[논문 리뷰] Deep Metric Learning for Unsupervised Remote Sensing Change Detection

Wele Gedara Chaminda Bandara, Vishal M. Patel|arXiv (Cornell University)|2023. 03. 16.

Remote-Sensing Image Classification인용 수 6

한 줄 요약

이 논문은 깊이 있는 거리 학습을 활용한 비지도 학습 원격 감지 변화 탐지 방법을 제안하며, 이미지 공간과 특징 공간에서 유사도-이질도 손실을 통해 딥-변화 확률 생성기(D-CPG)와 딥-특징 추출기(D-FE)를 공동 최적화한다. 이 방법은 레이블이 없는 학습 데이터를 요구하지 않으며, 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 기존의 지도 학습 및 비지도 학습 방법을 크게 능가한다.

ABSTRACT

Remote Sensing Change Detection (RS-CD) aims to detect relevant changes from Multi-Temporal Remote Sensing Images (MT-RSIs), which aids in various RS applications such as land cover, land use, human development analysis, and disaster response. The performance of existing RS-CD methods is attributed to training on large annotated datasets. Furthermore, most of these models are less transferable in the sense that the trained model often performs very poorly when there is a domain gap between training and test datasets. This paper proposes an unsupervised CD method based on deep metric learning that can deal with both of these issues. Given an MT-RSI, the proposed method generates corresponding change probability map by iteratively optimizing an unsupervised CD loss without training it on a large dataset. Our unsupervised CD method consists of two interconnected deep networks, namely Deep-Change Probability Generator (D-CPG) and Deep-Feature Extractor (D-FE). The D-CPG is designed to predict change and no change probability maps for a given MT-RSI, while D-FE is used to extract deep features of MT-RSI that will be further used in the proposed unsupervised CD loss. We use transfer learning capability to initialize the parameters of D-FE. We iteratively optimize the parameters of D-CPG and D-FE for a given MT-RSI by minimizing the proposed unsupervised ``similarity-dissimilarity loss''. This loss is motivated by the principle of metric learning where we simultaneously maximize the distance between change pair-wise pixels while minimizing the distance between no-change pair-wise pixels in bi-temporal image domain and their deep feature domain. The experiments conducted on three CD datasets show that our unsupervised CD method achieves significant improvements over the state-of-the-art supervised and unsupervised CD methods. Code available at https://github.com/wgcban/Metric-CD

연구 동기 및 목표

• 원격 감지 변화 탐지에 있어 대규모 레이블이 부여된 데이터셋의 부족 문제를 해결한다.
• 감독 학습 모델의 도메인 이동 문제를 해결하기 위해 도메인 간 일반화가 가능한 완전한 비지도 학습 방법을 개발한다.
• 다중 시기 원격 감지 영상에서의 계절적 변화 및 색상 변화에 대한 강건성을 향상시킨다.
• 새로운 데이터셋에 대해 미세조정 없이도 이식 가능하고 적응 가능한 변화 탐지 기능을 제공한다.
• 변화가 있는지 없는지 픽셀을 구분하기 위해 맥락 기반의 거리 학습 원리를 활용하는 자기지도 학습 틀을 개발한다.

제안 방법

• 이 방법은 두 개의 딥 신경망을 사용한다: 이중 시기 영상에서의 변화/비변화 확률 맵을 예측하기 위한 딥-변화 확률 생성기(D-CPG)와 고층 깊이 특징을 추출하기 위한 딥-특징 추출기(D-FE).
• D-FE는 이미지넷 사전 학습 모델을 통해 전이 학습을 통해 초기화되어 특징 품질 향상과 수렴 속도 향상을 도모한다.
• 비지도 유사도-이질도 손실을 제안하며, 이미지 공간과 깊이 특징 공간에서 변화 클래스 간 거리의 최대화와 비변화 클래스 간 거리의 최소화를 추구한다.
• 손실 함수는 세 가지 구성 요소로 이루어지며, 이미지 수준의 유사도-이질도 손실($\mathcal{L}_{\text{img}}$), 특징 수준의 손실($\mathcal{L}_{\text{feat}}$), 그리고 공간 일관성을 강제하는 맥락 일관성 손실($\mathcal{L}_{\text{ctx}}$)이다.
• D-CPG와 D-FE는 역전파를 통해 공동으로 반복적으로 최적화되어 변화 확률 맵과 특징 표현을 정교화한다.
• 최적의 성능을 위해 VGG-16의 다중 스케일 특징(scales $l=1$ 및 $l=2$)을 활용하며, 깊이 있는 층을 사용할 경우 성능 저하가 발생하는 것으로 확인되었다.

Figure 1: How our deep metric learning-based CD method differs from the state-of-the-art CD methods. (a) Supervised CD : In this case, MT-RSIs and the corresponding change masks are available for training the CD model [ 53 , 11 , 32 ] . (b) Self-supervised CD : In this case, change masks are not ava

실험 결과

연구 질문

• RQ1 딥 거리 학습이 레이블이 없는 학습 데이터 없이도 비지도 원격 감지 변화 탐지에 효과적으로 적용될 수 있는가?
• RQ2 변화 확률 생성기와 특징 추출기의 공동 최적화가 색상 및 계절적 변화에 대한 탐지 강건성을 향상시키는가?
• RQ3 이미지 수준, 특징 수준, 맥락 일관성 손실의 상대적 기여도는 변화 탐지 성능 향상에 어떤 영향을 미치는가?
• RQ4 네트워크 아키텍처 및 특징 스케일의 선택은 최종 탐지 정확도에 어떤 영향을 미치는가?
• RQ5 자기지도 학습 기반의 거리 학습 접근 방식이 표준 벤치마크에서 기존의 지도 학습 및 비지도 학습 SOTA 방법을 능가할 수 있는가?

주요 결과

• 제안된 방법은 OSCD 데이터셋에서 AUC 0.937을 달성하여 이전의 최신 기술 수준의 비지도 및 지도 학습 방법보다 뚜렷하게 뛰어난 성능을 보였다.
• D-CPG에 32개의 잔차 블록을 가진 ResNet을 사용할 경우 AUC 0.937을 기록하여 U-Net, Hourglass 및 얕은 ResNet보다 뛰어난 성능을 보였다.
• 이미지 수준, 특징 수준, 맥락 일관성 손실($\mathcal{L}_{\text{img}}$, $\mathcal{L}_{\text{feat}}$, $\mathcal{L}_{\text{ctx}}$)의 조합이 OSCD에서 F1 점수 0.325와 OA 0.958을 기록하여 최고 성능을 달성했다.
• VGG-16의 첫 두 스케일($l=1,2$)에서 유도된 깊이 특징을 활용할 경우 최적의 성능을 기록했으며, 더 깊은 층을 사용할 경우 성능 저하가 발생했다.
• 특징 수준의 유사도-이질도 손실($\mathcal{L}_{\text{feat}}$)이 이미지 수준의 손실($\mathcal{L}_{\text{img}}$)보다 더 큰 기여도를 보였으며, AUC는 0.821에서 0.879로 상승했다.
• Beirut 영상 쌍에 대한 수렴 곡선을 통해 방법이 안정적으로 최적의 변화 확률 맵으로 수렴하는 것으로 확인되었다.

Figure 2: We start from random weights for D-CPG $\theta^{0}_{\text{D-CPG}}$ , and iteratively update the weights in order to minimize the proposed $\mathcal{L}_{\text{CD}}$ . At the $t$ -th iteration, weights $\theta^{t}_{\text{D-CPG}}$ are used to generate the change probability maps $\mathbf{P}_{