[논문 리뷰] Urban Change Detection by Fully Convolutional Siamese Concatenate Network with Attention

Farnoosh Heidary, Mehran Yazdi외 2명|arXiv (Cornell University)|2021. 01. 31.

Remote-Sensing Image Classification참고 문헌 26인용 수 5

한 줄 요약

이 논문은 매우 고해상도 위성 영상에서 도시 변화 탐지에 대해 완전 컨volutional 시アン식 컨카테네이션 네트워크에 주목 메커니즘을 통합한 방법을 제안한다. 가우시안 주목(Gaussian attention)을 전처리 단계에 적용하고, 학습 가능한 주목 게이트 레이어를 도입하여 특징 표현을 향상시키고, OSCD 및 RIVER-CD 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 도시 이용 변화 탐지에서 뛰어난 정확도와 강건성을 입증한다.

ABSTRACT

Change detection (CD) is an important problem in remote sensing, especially in disaster time for urban management. Most existing traditional methods for change detection are categorized based on pixel or objects. Object-based models are preferred to pixel-based methods for handling very high-resolution remote sensing (VHR RS) images. Such methods can benefit from the ongoing research on deep learning. In this paper, a fully automatic change-detection algorithm on VHR RS images is proposed that deploys Fully Convolutional Siamese Concatenate networks (FC-Siam-Conc). The proposed method uses preprocessing and an attention gate layer to improve accuracy. Gaussian attention (GA) as a soft visual attention mechanism is used for preprocessing. GA helps the network to handle feature maps like biological visual systems. Since the GA parameters cannot be adjusted during network training, an attention gate layer is introduced to play the role of GA with parameters that can be tuned among other network parameters. Experimental results obtained on Onera Satellite Change Detection (OSCD) and RIVER-CD datasets confirm the superiority of the proposed architecture over the state-of-the-art algorithms.

연구 동기 및 목표

• 매우 고해상도 위성 영상(VHR RS)에서 정확한 도시 변화 탐지 문제를 해결하기 위해.
• 딥 러닝을 활용하여 기존의 전통적 픽셀 기반 및 오브젝트 기반 변화 탐지 방법의 한계를 극복하기 위해.
• 생물학적 시각 체계를 모방하는 주목 메커니즘을 통해 변화 탐지에서 특징 표현을 향상시키기 위해.
• 완전 자동화된 엔드 투 엔드 학습 가능한 프레임워크를 도시 변화 탐지에 대해 개발하기 위해.
• 학습 중에 적응 가능한 주목 가중치를 갖는 학습 가능한 주목 게이트를 통합하여 기존 주목 메커니즘의 고정 파rameter 문제를 해결함으로써 모델 성능을 향상시키기 위해.

제안 방법

• 이 방법은 쌍으로 제공되는 사전 및 사후 이벤트 위성 영상 처리를 위해 완전 컨volutional 시안식 컨카테네이션(FC-Siam-Conc) 네트워크 아키텍처를 사용한다.
• 가우시안 주목(GA)은 전처리 단계에서 소프트 시각 주목 메커니즘으로 적용되어 눈에 띄는 특징을 강조하며, 생물학적 시각 주목을 시뮬레이션한다.
• 고정된 GA 파rameter를 대체하기 위해 주목 게이트 레이어를 도입하여, 조정 가능한 주목 가중치를 갖는 엔드 투 엔드 학습이 가능하도록 한다.
• 두 브랜치(사전 및 사후 이벤트 영상)의 특징 맵을 연결하여 특징 공간에서 직접 변화 패턴을 학습한다.
• 지식 기반 변화 지ap을 사용한 지도 학습을 통해 엔드 투 엔드로 학습하며, 픽셀 단위 분류를 최적화한다.
• 표준 평가 지표인 F1 점수와 IoU를 사용하여, Onera Satellite Change Detection(OSCD) 및 RIVER-CD 두 가지 벤치마크 데이터셋에서 아키텍처를 평가한다.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 볼 때, 주목 메커니즘을 통합한 완전 컨볼루션 시안식 네트워크가 매우 고해상도 위성 영상에서 변화 탐지 정확도를 향상시킬 수 있는가?
• RQ2 가우시안 주목이 특징 표현 향상에 있어 변화 탐지 전처리 단계에서 얼마나 효과적인가?
• RQ3 학습 가능한 주목 게이트 레이어를 도입할 경우, 고정된 주목 메커니즘보다 성능 향상이 이루어지는가?
• RQ4 제안된 방법이 다양한 도시 변화 탐지 시나리오에 얼마나 일반화되는가?
• RQ5 오브젝트 기반 세그멘테이션이나 수작업으로 만든 특징에 의존하지 않고도 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 제안된 주목 게이트를 갖는 FC-Siam-Conc 네트워크는 OSCD 데이터셋에서 최신 기술 수준(SOTA) 방법을 초월하며, 더 높은 F1 점수와 IoU를 달성한다.
• RIVER-CD 데이터셋에서 모델는 강건한 성능을 보이며, 다양한 도시 환경 및 영상 특성에 걸쳐 효과성을 확인한다.
• 전처리 단계에서 가우시안 주목을 통합함으로써 특징 맵의 품질이 크게 향상되어 미세한 변화 탐지에 유리하다.
• 학습 중에 동적 주목 가중치를 적용할 수 있는 학습 가능한 주목 게이트 레이어 덕분에 더 적응형이고 정확한 특징 선택이 가능해진다.
• 제거 실험(ablation study) 결과, 주목 게이트와 가우시안 주목 구성 요소가 최종 성능 향상에 기여한다는 것이 확인되었다.
• 추가 후처리나 오브젝트 기반 분석 없이도 뛰어난 성능를 달성하여, 엔드 투 엔드 효율성의 우수성을 입증한다.