[논문 리뷰] Fully Transformer Network for Change Detection of Remote Sensing Images

Tianyu Yan, Zifu Wan외 1명|arXiv (Cornell University)|2022. 10. 03.

Remote-Sensing Image Classification인용 수 7

한 줄 요약

이 논문은 원격 감지 영상 변화 탐지용 완전한 트랜스포머 네트워크(FTN)를 제안하며, 장거리 의존성을 포착하기 위해 시아모이 스위н 트랜스포머를 활용하고, 프로그레시브 어텐션 모듈(PAM)을 갖춘 피라미드 구조를 통해 다중 수준의 특징 융합을 구현한다. 다중 손실 감독을 사용하여 네 가지 공개 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, WHU-CD에서 최대 F1 점수 92.19%와 LEVIR-CD에서 91.01%를 기록하였다.

ABSTRACT

Recently, change detection (CD) of remote sensing images have achieved great progress with the advances of deep learning. However, current methods generally deliver incomplete CD regions and irregular CD boundaries due to the limited representation ability of the extracted visual features. To relieve these issues, in this work we propose a novel learning framework named Fully Transformer Network (FTN) for remote sensing image CD, which improves the feature extraction from a global view and combines multi-level visual features in a pyramid manner. More specifically, the proposed framework first utilizes the advantages of Transformers in long-range dependency modeling. It can help to learn more discriminative global-level features and obtain complete CD regions. Then, we introduce a pyramid structure to aggregate multi-level visual features from Transformers for feature enhancement. The pyramid structure grafted with a Progressive Attention Module (PAM) can improve the feature representation ability with additional interdependencies through channel attentions. Finally, to better train the framework, we utilize the deeply-supervised learning with multiple boundaryaware loss functions. Extensive experiments demonstrate that our proposed method achieves a new state-of-the-art performance on four public CD benchmarks. For model reproduction, the source code is released at https://github.com/AI-Zhpp/FTN.

연구 동기 및 목표

• 제한된 특징 표현으로 인해 발생하는 변화 영역의 불완전성과 비정규적인 경계 문제를 해결하기 위해.
• 전역적 맥락 이해를 위한 장거리 의존성 모델링 기능을 활용해 특징 추출을 향상시키기 위해.
• 프로그레시브 어텐션 모듈(PAM)을 갖춘 피라미드 구조를 통해 다중 해상도 특징 표현을 향상시키기 위해.
• 다중 경계 인식 손실 함수를 사용한 깊이 있는 감독 학습을 통해 훈련 안정성과 경계 정밀도를 향상시키기 위해.
• 다양한 공개 원격 감지 영상 변화 탐지 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 원격 감지 영상 쌍으로부터 이중 단계 시간 특징을 추출하기 위해 사전 훈련된 스위인 트랜스포머를 활용한 시아모이 네트워크를 사용한다.
• 특징 덧셈 및 차수 연산을 적용하여 변화 영역를 강조하고 완전성을 향상시킨다.
• 다중 수준 특징을 집계하고 채널 간 의존성을 향상시키기 위해 프로그레시브 어텐션 모듈(PAM)을 갖춘 피라미드 구조를 활용한다.
• 다중 해상도에서의 변화 지도를 정밀하게 보정하기 위해 점진적 특징 융합을 통합한 다중 해상도 디코더를 사용한다.
• 가중 이진 교차 엔트로피(WBCE), SSIM, SIoU 손실 함수를 사용한 깊이 있는 감독 학습을 통해 경계 정밀도와 모델 일반화 능력을 향상시킨다.
• 디코더에서 깊이가 다른(2에서 8까지) 스위인 트랜스포머 블록을 사용하며, n=4일 때 최적의 성능를 기록한다.

실험 결과

연구 질문

• RQ1 고해상도 원격 감지 영상에서 변화 탐지에 있어 완전한 트랜스포머 아키텍처가 CNN 기반 방법보다 전역 맥락을 더 잘 포착할 수 있는가?
• RQ2 PAM을 활용한 피라미드 특징 융합은 변화 탐지에서 특징 표현과 경계 일관성에 어떻게 기여하는가?
• RQ3 다중 경계 인식 손실 함수는 탐지된 변화 영역의 정밀도와 규칙성에 얼마나 기여하는가?
• RQ4 기존 방법들과 비교해 본다면, 제안된 방법은 더 높은 해상도 입력에 어떻게 스케일링되는가?
• RQ5 제안된 프레임워크는 다양한 원격 감지 영상 변화 탐지 벤치마크에서 최신 기술 수준의 성능를 달성할 수 있는가?

주요 결과

• 제안된 FTN는 512×512 입력 해상도에서 WHU-CD 데이터셋에서 최신 기술 수준의 F1 점수 92.19%를 달성하였다.
• LEVIR-CD에서 WBCE+SSIM+SIoU 손실을 조합하여 F1 점수 91.01%를 기록하였으며, 이는 이전 방법들을 초월하였다.
• PAM을 갖춘 피라미드 구조는 단순한 특징 융합 기반 베이스라인 대비 F1 점수를 2% 이상 향상시켰으며, 정량적 결과에서 더 규칙적이고 완전한 변화 경계가 명확히 관찰되었다.
• 디코더에서 n=4의 스위인 트랜스포머 블록을 사용할 경우 성능과 계산 비용 사이의 최적 균형을 이룩하였으며, n=8일 경우 계산량 증가로 인해 성능이 약간 저하되었다.
• 모델은 높은 해상도로 효과적으로 스케일링되며, 256×256에서 512×512로의 해상도 증가에 따라 일관된 성능 향상이 관찰되었으며, FLOPs는 45G에서 198G로 증가하였다.
• WBCE, SSIM, SIoU 손실의 조합이 가장 뛰어난 성능를 보였으며, F1 점수는 BCE만 사용했을 때 88.75%에서 모든 손실을 사용했을 때 91.01%로 상승하여 다중 손실 감독의 효과를 입증하였다.