[논문 리뷰] Semantic Change Detection with Asymmetric Siamese Networks

Kunping Yang, Gui-Song Xia외 5명|arXiv (Cornell University)|2020. 10. 12.

Remote-Sensing Image Classification참고 문헌 46인용 수 4

한 줄 요약

이 논문은 이질적인 특징 추출 모듈(aSP 및 aRP)을 사용하여 비대칭적인 지형 커버 분포를 포착하는 다중 시점 항공 영상에서의 의미적 변화 탐지용 비대칭 시아모이즈 네트워크(ASN)를 제안한다. 모델은 다양한 백본에서 최신 기술 수준을 초월하며, 최대 1.9 mIOU 및 2.2 SeK 향상률을 기록한다. 레이블 불균형 문제를 해결하기 위해 적응형 임계값 학습과 분리된 캄파 계수를 도입한 새로운 대규모 벤치마크 데이터셋(SECOND)을 통해 검증되었다.

ABSTRACT

Given two multi-temporal aerial images, semantic change detection aims to locate the land-cover variations and identify their change types with pixel-wise boundaries. This problem is vital in many earth vision related tasks, such as precise urban planning and natural resource management. Existing state-of-the-art algorithms mainly identify the changed pixels by applying homogeneous operations on each input image and comparing the extracted features. However, in changed regions, totally different land-cover distributions often require heterogeneous features extraction procedures w.r.t each input. In this paper, we present an asymmetric siamese network (ASN) to locate and identify semantic changes through feature pairs obtained from modules of widely different structures, which involve areas of various sizes and apply different quantities of parameters to factor in the discrepancy across different land-cover distributions. To better train and evaluate our model, we create a large-scale well-annotated SEmantic Change detectiON Dataset (SECOND), while an Adaptive Threshold Learning (ATL) module and a Separated Kappa (SeK) coefficient are proposed to alleviate the influences of label imbalance in model training and evaluation. The experimental results demonstrate that the proposed model can stably outperform the state-of-the-art algorithms with different encoder backbones.

연구 동기 및 목표

• 다중 시점 항공 영상에서 비대칭적인 지형 커버 분포가 의미적 변화 탐지 정확도를 저해하는 문제를 해결하기 위해.
• 변경 영역 내에서 다양한 지형 커버 복잡도를 가진 이질적 특징을 모델링하는 데에 한계가 있는 대칭 시아모이즈 네트워크의 문제를 극복하기 위해.
• 비대칭적인 공간 및 잔차 피라미드 모듈을 통해 국소적 및 전역적 맥락 정보를 모두 포착하는 딥 러닝 프레임워크를 개발하기 위해.
• 학습 및 평가 과정에서 클래스 레이블 불균형의 영향을 줄이기 위해 적응형 임계값 학습(ATL) 모듈과 분리된 캄파 계수(SeK)를 사용하기 위해.

제안 방법

• 비대칭 시아모이즈 네트워크(ASN)는 다중 시점 영상에서 특징 쌍을 추출하기 위해 서로 다른 아키텍처(aSP 및 aRP)를 가진 두 개의 별도 인코더를 사용하여 局소적으로 비대칭 특징 학습을 가능하게 한다.
• aSP 모듈은 수직 컨볼루션 시퀀스와 스위즈 게이트를 사용하여 다양한 수신 필드를 가진 다중 척도 특징을 생성하여 세밀한 해상도와 맥락적 세부 정보를 모두 포착한다.
• aRP 모듈은 인코더의 다양한 단계에서의 특징을 비대칭 잔차 연결을 통해 통합하여 다양한 지형 커버 유형 간의 표현 학습을 향상시킨다.
• 적응형 임계값 학습(ATL) 모듈은 모델 예측에 기반해 출력 점수를 동적으로 조정하여 레이블 불균형 상황에서도 강건성을 향상시킨다.
• 기존 메트릭이 불균형 데이터셋에서 비합리적인 점수를 제공하는 데 문제를 보완하기 위해 새로운 평가 지표인 분리된 캄파(SeK) 계수를 제안한다.
• 학습 및 평가를 지원하기 위해 대규모이고 철저히 애너테이션 처리된 벤치마크 데이터셋 SECOND를 구축하였으며, 다양한 지형 커버 유형에 걸쳐 의미적 변화 유형을 포함한다.

실험 결과

연구 질문

• RQ1 서로 다른 네트워크 브랜치를 통해 비대칭 특징 학습을 수행할 경우, 복잡하고 혼합된 지형 커버 분포를 가진 다중 시점 항공 영상에서 의미적 변화 탐지 성능이 향상되는가?
• RQ2 이질적인 특징 추출 모듈(aSP 및 aRP)의 통합은 모델이 미세한 의미적 변화를 구분하는 능력에 어떤 영향을 미치는가?
• RQ3 제안된 적응형 임계값 학습(ATL) 모듈이 레이블 불균형으로 인한 성능 저하를 어느 정도 감소시키는가?
• RQ4 분리된 캄파(SeK) 메트릭은 기존의 mIOU와 같은 전통적 메트릭보다 불균형한 의미적 변화 탐지 시나리오에서 더 신뢰할 수 있는 평가를 제공하는가?
• RQ5 제안된 ASN 모델이 다양한 인코더 백본(예: ResNet, Xception, Squeeze-and-Excitation) 간에 일반화되어 우수한 성능을 유지할 수 있는가?

주요 결과

• 제안된 ASN 모델은 테스트된 모든 인코더 백본에서 최신 기술 수준의 성능을 달성하였으며, Xception 블록을 사용할 경우 HRSCD.str4보다 mIOU 1.9 포인트 및 SeK 2.2 포인트 향상되었다.
• Xception 블록을 사용할 경우 적응형 임계값 학습(ATL) 모듈이 mIOU를 0.9 포인트 향상시키고 SeK를 0.8 포인트 향상시켰으며, Squeeze-and-Excitation 블록을 사용할 경우 각각 0.5 및 0.7 포인트 향상되었다.
• 제거 실험 결과, aSP 및 aRP 모두 기여가 뚜렷하게 확인되었으며, Squeeze-and-Excitation 블록을 사용할 경우 aSP가 mIOU를 0.7 포인트 향상시키고 SeK를 0.8 포인트 향상시켰다.
• 비대칭 특징 쌍의 통합은 특징 맵 시각화 결과에서 변화 영역에서 더 구분 가능한 반응 값이 생성됨을 보여주었으며, 특히 혼합 나무-건물 지역과 같은 모호한 영역에서 두드러졌다.
• 기본 모델과의 시각적 비교를 통해 복잡한 변화 영역(예: 건물 변화)에서 거짓 양성 탐지 수를 줄이는 데 성공하였다.
• 새로운 벤치마크 데이터셋 SECOND는 다양한 현실적인 지형 커버 변화를 수반하는 의미적 변화 탐지 분야의 신뢰할 수 있는 평가 및 향후 연구를 지원한다.