[논문 리뷰] FCCDN: Feature Constraint Network for VHR Image Change Detection

Pan Chen, Danfeng Hong외 4명|arXiv (Cornell University)|2021. 05. 23.

Remote-Sensing Image Classification인용 수 4

한 줄 요약

이 논문은 매우 고해상도(VHR) 영상 변화 감지를 위한 특징 제약 네트워크인 FCCDN을 제안한다. FCCDN은 이중 인코더-디코더 아키텍처, 비국소 특징 피라미드 네트워크, 밀집 특징 융합, 그리고 자기지도 학습(SSL) 기반 전략을 통해 특징 학습을 향상시킨다. FCCDN은 LEVIR-CD(재현율: 0.8569, F1: 0.9229)와 WHU(재현율: 0.8820, F1: 0.9373)에서 최신 기술 수준(SOTA) 성능을 달성하며, 지도 학습이 필요한 지도 없는 이시기적 의미 분할을 가능하게 한다.

ABSTRACT

Change detection is the process of identifying pixelwise differences in bitemporal co-registered images. It is of great significance to Earth observations. Recently, with the emergence of deep learning (DL), the power and feasibility of deep convolutional neural network (CNN)-based methods have been shown in the field of change detection. However, there is still a lack of effective supervision for change feature learning. In this work, a feature constraint change detection network (FCCDN) is proposed. We constrain features both in bitemporal feature extraction and feature fusion. More specifically, we propose a dual encoder-decoder network backbone for the change detection task. At the center of the backbone, we design a nonlocal feature pyramid network to extract and fuse multiscale features. To fuse bitemporal features in a robust way, we build a dense connection-based feature fusion module. Moreover, a self-supervised learning-based strategy is proposed to constrain feature learning. Based on FCCDN, we achieve state-of-the-art performance on two building change detection datasets (LEVIR-CD and WHU). On the LEVIR-CD dataset, we achieve an IoU of 0.8569 and an F1 score of 0.9229. On the WHU dataset, we achieve an IoU of 0.8820 and an F1 score of 0.9373. Moreover, for the first time, the acquisition of accurate bitemporal semantic segmentation results is achieved without using semantic segmentation labels. This is vital for the application of change detection because it saves the cost of labeling.

연구 동기 및 목표

• 딥 러닝 기반 VHR 영상 변화 감지에서 효과적인 지도 학습의 부족을 해결하기 위해.
• 변화 감지 작업에서 유도되는 암묵적 제약을 통합하여 이시기적 특징 추출 및 융합을 향상시키기 위해.
• 저수준 특징 융합에서 발생하는 노이즈를 줄이기 위해 밀집 연결 기반 특징 융합 모듈을 도입하기 위해.
• 라벨이 부여된 분할 데이터가 필요 없이 비지도 이시기적 의미 분할을 가능하게 하기 위해.
• 이시기적 영상 간 의미 클래스 일관성을 활용하여 특징 학습을 향상시키는 자기지도 학습 전략을 개발하기 위해.

제안 방법

• 공유 가중치를 사용하는 이중 인코더-디코더(Dual Encoder-Decoder, DED) 백본을 설계하여 이시기적 특징를 추출하고 비교함으로써 특징 정렬을 향상시킨다.
• 장거리 의존성을 효과적으로 캡처하고 다중 척도 특징를 융합하기 위해 비국소 특징 피라미드 네트워크(NL-FPN)를 도입한다.
• 다양한 척도와 레이어를 통해 특징를 집계함으로써 특징 융합을 향상시키기 위해 밀집 연결 기반 특징 융합 모듈(DFM)을 제안한다.
• 이시기적 특징를 의미 클래스에 할당하고 보조 분할 브랜치를 사용하여 전체 특징 학습을 제약하는 자기지도 학습(SSL) 기반 전략을 개발한다.
• SSL 전략은 동일한 의미 클래스에 속하는 이시기적 영상의 특징는 서로 가까이 모으고, 다른 클래스의 특징는 서로 멀어지도록 강제한다.
• 시간에 걸쳐 의미 클래스의 일관성을 활용하여 비지도로 이시기적 의미 분할 결과를 생성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 의미 분할 레이블이 필요 없이 자기지도 학습 전략이 변화 감지에서 특징 학습을 향상시킬 수 있는가?
• RQ2 제안된 특징 제약 메커니즘이 이시기적 특징 추출 및 융합의 정확성과 강건성에 어떻게 기여하는가?
• RQ3 비국소성과 밀집 연결을 갖춘 이중 인코더-디코더 아키텍처가 VHR 영상에서 변화 감지 성능을 얼마나 향상시키는가?
• RQ4 제안된 방법이 레이블이 없는 조건에서 정확한 이시기적 의미 분할 지ap을 생성할 수 있는가?
• RQ5 대비 손실과 비교할 때 자기지도 학습 기반 전략은 변화 감지 작업에서 성능 및 일반화 능력 측면에서 어떻게 우월한가?

주요 결과

• FCCDN은 LEVIR-CD 데이터셋에서 평균 교차율(mIoU) 0.8569와 F1 점수 0.9229를 기록하여 새로운 최신 기술 수준 성능를 달성한다.
• WHU 데이터셋에서 FCCDN은 mIoU 0.8820과 F1 점수 0.9373을 기록하여 다양한 데이터셋 간 강력한 일반화 능력을 보여준다.
• LEVIR-CD 데이터셋에서 SSL 기반 전략은 대비 손실 전략 대비 mIoU 0.29% 향상되고 F1 점수는 0.16% 향상된다.
• SECOND 데이터셋에서 SSL 기반 전략은 대비 손실 전략 대비 mIoU 0.2% 향상되고 F1 점수는 0.24% 향상되어 더 뛰어난 특징 구분 능력을 보여준다.
• FCCDN은 처음으로 어떤 분할 레이블도 사용하지 않고 정확한 이시기적 의미 분할 지도를 생성할 수 있게 되어 레이블링 비용을 크게 감소시킨다.
• 제안된 방법은 밀집 연결 기반 융합 모듈을 통해 저수준 특징 융합에서 발생하는 노이즈를 효과적으로 줄여 특징 품질과 감지 정확도를 향상시킨다.