[논문 리뷰] Change Detection in Multi-temporal VHR Images Based on Deep Siamese Multi-scale Convolutional Networks

Hongruixuan Chen, Chen Wu외 2명|arXiv (Cornell University)|2019. 06. 27.

Remote-Sensing Image Classification참고 문헌 74인용 수 16

한 줄 요약

이 논문은 다중 시점 초고해상도(VHR) 영상에서 변화 탐지에 대한 새로운 딥 러닝 프레임워크를 제안한다. 이는 심층 사일리언스 컨볼루션 신경망 내에서 다중 척도 특징 컨볼루션 유닛(MFCU)을 사용한다. 방법은 비지도 학습 및 지도 학습 아키텍처—DSMS-CN 및 DSMS-FCN—을 활용하며, 보정을 위해 완전 연결 조건부 랜덤 필드(FC-CRF)를 통합하여 파rameter 수를 줄이고 실시간 추론을 달성하며 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Very-high-resolution (VHR) images can provide abundant ground details and spatial geometric information. Change detection in multi-temporal VHR images plays a significant role in urban expansion and area internal change analysis. Nevertheless, traditional change detection methods can neither take full advantage of spatial context information nor cope with the complex internal heterogeneity of VHR images. In this paper, a powerful feature extraction model entitled multi-scale feature convolution unit (MFCU) is adopted for change detection in multi-temporal VHR images. MFCU can extract multi-scale spatial-spectral features in the same layer. Based on the unit two novel deep siamese convolutional neural networks, called as deep siamese multi-scale convolutional network (DSMS-CN) and deep siamese multi-scale fully convolutional network (DSMS-FCN), are designed for unsupervised and supervised change detection, respectively. For unsupervised change detection, an automatic pre-classification is implemented to obtain reliable training samples, then DSMS-CN fits the statistical distribution of changed and unchanged areas from selected training samples through MFCU modules and deep siamese architecture. For supervised change detection, the end-to-end deep fully convolutional network DSMS-FCN is trained in any size of multi-temporal VHR images, and directly outputs the binary change map. In addition, for the purpose of solving the inaccurate localization problem, the fully connected conditional random field (FC-CRF) is combined with DSMS-FCN to refine the results. The experimental results with challenging data sets confirm that the two proposed architectures perform better than the state-of-the-art methods.

연구 동기 및 목표

• 기존의 전통적 변화 탐지 방법은 VHR 영상에서 공간-스펙트럼 맥락을 효과적으로 활용하지 못하고 내부 이질성 문제를 해결하지 못하는 한계를 지닌다.
• 저수준 특징 추출 및 단일 척도 컨볼루션 유닛이 VHR 영상에서 다중 척도 공간-스펙트럼 패턴을 포착하는 데에 한계를 지닌다.
• 다중 시점 VHR 영상에서 정확하고 효율적이며 실시간 변화 탐지를 가능하게 하는 종단간 딥 러닝 프레임워크를 개발한다.
• 완전 연결 조건부 랜덤 필드(FC-CRF)를 통합하여 세그멘테이션 경계를 보정하고 딥 러닝 기반 변화 탐지의 국소화 정확도를 향상시킨다.
• 다양한 네트워크 아키텍처에 MFCU 모듈을 통합하여 일반화 능력과 효율성을 입증하고, 성능 향상과 함께 모델 크기를 감소시킨다.

제안 방법

• 1×1, 3×3, 5×5 컨볼루션 커널과 함께 3×3 최대 풀링을 단일 레이어에서 동시에 사용하여 다중 척도 공간-스펙트럼 특징을 추출하는 다중 척도 특징 컨볼루션 유닛(MFCU)을 도입한다.
• 자동으로 사전 분류된 샘플을 기반으로 변화된 영역와 변화되지 않은 영역의 통계 분포에 맞추어 훈련하는 비지도 학습을 위한 심층 사일리언스 다중 척도 컨볼루션 네트워크(DSMS-CN)를 설계한다.
• 임의의 크기의 영상을 패치 기반 슬라이딩 윈도우 없이 처리할 수 있는 지도 학습을 위한 심층 사일리언스 다중 척도 완전 컨볼루션 네트워크(DSMS-FCN)를 제안한다.
• DSMS-FCN가 생성한 이진 변화 지ap을 보정하기 위해 완전 연결 조건부 랜덤 필드(FC-CRF)를 후처리 모듈로 적용하며, 네트워크 출력을 단항 잠재변수로 사용한다.
• DSMS-FCN를 ACD 데이터셋에서 종단간 훈련하고, Szada-1 및 Tisza-3를 포함한 여러 벤치마크 데이터셋에서 성능을 검증한다.
• 기존의 단일 척도 컨볼루션 유닛을 MFCU로 교체하여 기존 FCN 아키텍처의 특징 표현 능력을 향상시키고 모델 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 다중 척도 특징 컨볼루션 유닛(MFCU)은 단일 컨볼루션 레이어 내에서 VHR 영상의 다중 척도 공간-스펙트럼 특징을 효과적으로 포착할 수 있는가?
• RQ2 제안된 심층 사일리언스 아키텍처(DSMS-CN)는 도전적인 VHR 영상 데이터셋에서 기존 비지도 학습 변화 탐지 방법을 초월하는가?
• RQ3 종단간 DSMS-FCN 아키텍처는 저비용 계산량과 실시간 추론을 유지하면서도 지도 학습 변화 탐지에서 뛰어난 성능을 달성할 수 있는가?
• RQ4 DSMS-FCN에 FC-CRF를 통합할 경우 변화 탐지 결과의 국소화 정확도와 경계 정밀도는 어느 정도 향상되는가?
• RQ5 기존 단일 척도 컨볼루션 유닛 및 최신 기술 수준 모델과 비교했을 때 MFCU 기반 아키텍처는 파라미터 효율성과 성능 측면에서 어떻게 비교되는가?

주요 결과

• Tiszadob-3 데이터셋에서 MSFC-EF-FCCRF는 F1 스코어 0.9638, OA 0.9874, KC 0.9560을 기록하여 DSCN, CXM, SCCN, FC-EF, FC-Siam-Conc, FC-Siam-Diff를 포함한 모든 비교 방법을 능가했다.
• ACD 데이터셋에서 DSMS-FCN는 F1 스코어 0.8690, OA 0.9552를 기록하여 MSFC-EF가 추가 보정을 통해 성능 향상을 얻는 데 비해 경쟁적인 성능을 보였다.
• MSFC-EF 모델은 FC-EF 대비 모델 크기를 14.5% 감소시켰고, Szada-1 및 Tisza-3 데이터셋에서 OA 및 F1 스코어를 모두 향상시켰다.
• DSMS-FCN는 FC-Siam-Conc 및 FC-Siam-Diff 대비 학습 가능한 파라미터 수를 각각 46.9%, 38.4% 감소시켰고, 더 뛰어난 성능을 달성했다.
• DSMS-FCN의 추론 시간은 이미지당 0.1초 이내였고, FC-CRF 추론 시간은 이미지당 1초 이내였으며, 이는 다중 시점 VHR 영상의 실시간 처리를 가능하게 했다.
• DSMS-FCN에 FC-CRF를 통합함으로써 F1 스코어는 0.8690에서 0.8886으로, OA는 0.9552에서 0.9620으로 향상되어 경계 국소화 보정의 효과를 확인했다.