[논문 리뷰] Building Change Detection for Remote Sensing Images Using a Dual Task Constrained Deep Siamese Convolutional Network Model

Yi Liu, Chao Pang외 3명|arXiv (Cornell University)|2019. 09. 17.

Remote-Sensing Image Classification참고 문헌 11인용 수 18

한 줄 요약

이 논문은 원격 감지 영상에서 건물 변화 탐지에 대한 이중 작업 제약을 고려한 딥 시앙세이 신경망(DTCDSCN)을 제안한다. 변화 탐지와 세분화를 동시에 최적화하여 특징의 구분 능력을 향상시킨다. 이중 주의 모듈과 수정된 포칼 손실을 통합함으로써 WHU 데이터셋에서 최신 기술 수준의 성능을 달성하여 정밀도, 재현율, F1 점수 및 교차율에서 이전 방법들을 능가한다.

ABSTRACT

In recent years, building change detection methods have made great progress by introducing deep learning, but they still suffer from the problem of the extracted features not being discriminative enough, resulting in incomplete regions and irregular boundaries. To tackle this problem, we propose a dual task constrained deep Siamese convolutional network (DTCDSCN) model, which contains three sub-networks: a change detection network and two semantic segmentation networks. DTCDSCN can accomplish both change detection and semantic segmentation at the same time, which can help to learn more discriminative object-level features and obtain a complete change detection map. Furthermore, we introduce a dual attention module (DAM) to exploit the interdependencies between channels and spatial positions, which improves the feature representation. We also improve the focal loss function to suppress the sample imbalance problem. The experimental results obtained with the WHU building dataset show that the proposed method is effective for building change detection and achieves a state-of-the-art performance in terms of four metrics: precision, recall, F1-score, and intersection over union.

연구 동기 및 목표

• 딥 러닝 기반 건물 변화 탐지에서 특징이 구분되지 않아 영역이 불완전하고 경계가 불규칙해지는 문제를 해결하기 위해.
• 변화 탐지 네트워크와 두 개의 세분화 서브넷을 함께 훈련시켜 특징 표현을 향상시키기 위해.
• 채널 및 공간적 의존성을 모델링하는 이중 주의 모듈을 통해 특징 학습을 향상시키기 위해.
• 변화 탐지에서 클래스 불균형 문제를 개선된 포칼 손실 함수를 통해 완화하기 위해.
• 다중 지표 평가를 통해 건물 변화 탐지 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• DTCDSCN 모델은 두 개의 시간 시리즈 원격 감지 영상에서 특징을 추출하기 위한 공유된 시앙세이 트렁크로 구성되며, 이어 변화 탐지 헤드와 두 개의 별도의 세분화 헤드가 연결된다.
• 이중 주의 모듈(DAM)이 통합되어 채널 간 및 공간적 위치 간의 상호의존성을 캡처하여 분류 이전에 특징 맵을 정밀하게 다듬는다.
• 변화 탐지 손실과 두 개의 세분화 손실을 조합한 다중 작업 손실을 사용해 엔드 투 엔드로 훈련하여 구분 능력 있는 객체 수준의 표현을 장려한다.
• 변화 탐지 헤드에 수정된 포칼 손실을 적용하여 배경 픽셀의 지배를 줄이고 드문 변화 인스턴스의 탐지 성능을 향상시킨다.
• 시앙세이 네트워크의 특징 맵은 연결 및 정제 모듈을 거쳐 최종 예측 전에 처리된다.
• 이 아키텍처는 변화 탐지와 세분화의 공동 최적화를 가능하게 하여 경계 정확도와 완전성을 향상시킨다.

실험 결과

연구 질문

• RQ1 변화 탐지와 세분화의 공동 훈련이 건물 변화 탐지에서 특징의 구분 능력을 향상시키는가?
• RQ2 이중 주의 모듈은 원격 감지 영상에서 변화 탐지에 특징 표현을 어떻게 향상시키는가?
• RQ3 수정된 포칼 손실이 변화 탐지 작업에서 클래스 불균형 문제를 어느 정도 완화하는가?
• RQ4 제안된 이중 작업 제약 프레임워크는 정밀도, 재현율 및 F1 점수 측면에서 단일 작업 모델보다 우수한가?
• RQ5 기존 딥 러닝 방법에 비해 더 완전하고 규칙적인 변화 지도를 생성할 수 있는가?

주요 결과

• 제안된 DTCDSCN 모델은 정밀도, 재현율, F1 점수, 교차율의 네 가지 평가 지표에서 WHU 건물 변화 탐지 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 세분화를 보조 작업으로 통합함으로써 특징의 구분 능력이 크게 향상되어 더 완전하고 명확한 변화 영역이 생성된다.
• 이중 주의 모듈은 채널과 공간 위치 간의 장거리 의존성을 모델링함으로써 특징 표현을 향상시킨다.
• 개선된 포칼 손실은 전경-배경 클래스 불균형의 영향을 효과적으로 줄여 실제 건물 변화의 탐지 성능을 향상시킨다.
• 절단 실험 결과 이중 작업 학습 전략과 DAM 모듈이 최적 성능을 내기 위해 필수적임을 확인하였다.
• 기본 모델 대비 노이즈 아티팩트가 적고 더 규칙적인 경계를 가진 변화 탐지 지도를 생성한다.