[논문 리뷰] Unsupervised Change Detection in Multi-temporal VHR Images Based on Deep Kernel PCA Convolutional Mapping Network

Chen Wu, Hongruixuan Chen외 2명|arXiv (Cornell University)|2019. 12. 18.

Remote-Sensing Image Classification참고 문헌 63인용 수 13

한 줄 요약

이 논문은 커널 주성분 분석(KPCA) 컨볼루션 레이어를 사용하여 다중 시점 초고해상도(VHR) 영상에서의 변화 탐지에 대한 비지도 딥러닝 프레임워크인 KPCA-MNet을 제안한다. 이 방법은 레이블이 없는 데이터로부터 비선형 공간-스펙트럼 특징을 추출하고, 특징 매핑 및 가중치가 부여된 특징 방향을 통해 변화 정보를 2차원 극좌표 도메인으로 매핑하며, 레이블이 전혀 필요 없는 벤치마크 데이터셋에서 이진 및 다중 클래스 변화 탐지에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

With the development of Earth observation technology, very-high-resolution (VHR) image has become an important data source of change detection. Nowadays, deep learning methods have achieved conspicuous performance in the change detection of VHR images. Nonetheless, most of the existing change detection models based on deep learning require annotated training samples. In this paper, a novel unsupervised model called kernel principal component analysis (KPCA) convolution is proposed for extracting representative features from multi-temporal VHR images. Based on the KPCA convolution, an unsupervised deep siamese KPCA convolutional mapping network (KPCA-MNet) is designed for binary and multi-class change detection. In the KPCA-MNet, the high-level spatial-spectral feature maps are extracted by a deep siamese network consisting of weight-shared PCA convolution layers. Then, the change information in the feature difference map is mapped into a 2-D polar domain. Finally, the change detection results are generated by threshold segmentation and clustering algorithms. All procedures of KPCA-MNet does not require labeled data. The theoretical analysis and experimental results demonstrate the validity, robustness, and potential of the proposed method in two binary change detection data sets and one multi-class change detection data set.

연구 동기 및 목표

• 기존의 딥러닝 기반 변화 탐지 방법이 대규모 레이블이 부여된 학습 데이터를 필요로 하는 한계를 해결하기 위해.
• VHR 영상의 공간-스펙트럼적 맥락을 효과적으로 포착할 수 있는 비지도 특징 추출 기법을 개발하기 위해.
• 감독 없이도 이진 및 다중 클래스 변화 탐지 작업을 수행할 수 있는 새로운 네트워크 아키텍처를 설계하기 위해.
• 가중치가 부여된 특징 방향 전략을 사용하여 다중 채널 특징 차이 맵을 2차원 극좌표 도메인으로 효율적으로 매핑함으로써 변화 탐지 정확도를 향상시키기 위해.
• 다양한 복잡도를 지닌 실세계 VHR 영상 데이터셋에서 제안된 방법의 강건성과 일반화 능력을 검증하기 위해.

제안 방법

• 표준 컨볼루션 레이어를 대체하여 비선형 특징 추출을 수행하는 새로운 KPCA 컨볼루션 레이어를 제안하며, 이는 커널 주성분 분석을 기반으로 한다.
• 가중치 공유된 KPCA 컨볼루션 레이어를 갖춘 깊은 시아모이스 네트워크를 활용하여 다중 시점 VHR 영상에서 고수준의 공간-스펙트럼 특징을 추출한다.
• 시아모이스 네트워크의 두 고수준 특징 맵 간의 픽셀 단위 뺄셈을 통해 특징 차이 맵을 생성한다.
• 특징 차이 맵에서 변화의 크기를 기반으로 변화 존재 여부를 2차원 극좌표 도메인에 인코딩하는 특징 매핑(FM) 전략을 도입한다.
• 고유값을 기반으로 채널별 가중치를 할당하여 특징 차이 맵 내에서 더 정보가 풍부한 변화 성분을 강조하는 가중치가 부여된 특징 방향(WFD) 방법을 제안한다.
• 이론적으로는 이진 변화 탐지에 대해 임계값 분할을, 다중 클래스 변화 탐지에 대해 WFD 맵에 클러스터링을 적용하며, 모두 완전히 비지도 방식이다.

실험 결과

연구 질문

• RQ1 레이블이 전혀 필요 없는 조건에서 비지도 딥러닝 모델이 다중 시점 초고해상도(VHR) 영상에서 변화를 효과적으로 탐지할 수 있는가?
• RQ2 제안된 KPCA 컨볼루션 레이어는 VHR 영상에서 비선형 공간-스펙트럼 특징을 추출하는 데 있어 표준 컨볼루션 레이어와 비교해 어떻게 성능을 냈는가?
• RQ3 제안된 WFD 매핑 전략은 기존의 특징 매핑 기법에 비해 다중 클래스 변화 탐지 성능을 향상시키는가?
• RQ4 KPCA-MNet 프레임워크는 실세계 VHR 데이터셋에서 이진 및 다중 클래스 변화 탐지 작업 모두에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 2차원 극좌표 도메인 매핑은 변화 탐지 정확도와 강건성 향상에 어떤 기여를 하는가?

주요 결과

• WH 및 QU 이진 변화 탐지 데이터셋에서 KPCA-MNet은 기존 방법과 딥러닝 기반 베이스라인보다 높은 전체 정확도와 카파 계수를 확보하였다.
• 도전적인 HY 다중 클래스 변화 탐지 데이터셋에서 KPCA-MNet은 전체 정확도 0.9687과 카파 계수 0.8334를 기록하여 비교된 모든 방법들을 압도하였다.
• 제안된 WFD 방법은 기준 매핑 전략 대비 성능을 크게 향상시켰으며, M-3 대비 5.1% 높은 카파 계수(0.8028 대비 0.8334)를 기록하여 다중 클래스 변화 정보를 효과적으로 활용하는 것을 입증하였다.
• 절단 실험을 통해 KPCA 컨볼루션 레이어가 감독 없이도 비선형 특징을 효과적으로 추출하며, 다양한 데이터셋 간의 일반화 능력 향상에 기여하는 것으로 확인되었다.
• 비지도 계층별 학습 전략이 레이블이 전혀 없는 조건에서 네트워크를 성공적으로 초기화하고 효과적인 특징 학습을 가능하게 하였다.
• 정성적 결과 분석을 통해 KPCA-MNet은 기존 방법 대비 더 깔끔하고 일관성 있는 변화 맵을 생성하였으며, 소르트 앤 페퍼 노이즈와 내부 분할 현상이 감소된 것으로 나타났다.