[논문 리뷰] Asymmetric Siamese Networks for Semantic Change Detection.

Kunping Yang, Gui-Song Xia외 4명|arXiv (Cornell University)|2020. 10. 12.

Remote-Sensing Image Classification참고 문헌 49인용 수 15

한 줄 요약

이 논문은 다중 시점 항공 영상에서 의미적 변화 탐지에 대해 구조적으로 다른 모듈에서 유도된 특징 쌍을 사용하여 분포가 다름에 따른 카테고리적 모호성을 해결하기 위해 비대칭 시아노이드 네트워크(ASN)를 제안한다. 이 방법은 새로운 대규모 데이터셋 SECOND에서 다양한 백본을 통해 최신 기술 수준의 성능을 달성하며, 적응형 임계값 학습과 분리된 캄파 계수를 통한 개선된 훈련 및 평가 방식을 통해 성능을 향상시킨다.

ABSTRACT

Given two multi-temporal aerial images, semantic change detection aims to locate the land-cover variations and identify their categories with pixel-wise boundaries. The problem has demonstrated promising potentials in many earth vision related tasks, such as precise urban planning and natural resource management. Existing state-of-the-art algorithms mainly identify the changed pixels through symmetric modules, which would suffer from categorical ambiguity caused by changes related to totally different land-cover distributions. In this paper, we present an asymmetric siamese network (ASN) to locate and identify semantic changes through feature pairs obtained from modules of widely different structures, which involve different spatial ranges and quantities of parameters to factor in the discrepancy across different land-cover distributions. To better train and evaluate our model, we create a large-scale well-annotated SEmantic Change detectiON Dataset (SECOND), while an adaptive threshold learning (ATL) module and a separated kappa (SeK) coefficient are proposed to alleviate the influences of label imbalance in model training and evaluation. The experimental results demonstrate that the proposed model can stably outperform the state-of-the-art algorithms with different encoder backbones.

연구 동기 및 목표

• 이미지 쌍 간의 지형 커버 분포의 상당한 차이로 인해 발생하는 의미적 변화 탐지의 카테고리적 모호성 문제 해결.
• 비대칭이고 구조적으로 다른 모듈에서 유도된 특징 표현을 활용하여 공간적 및 분포적 불일치를 더 잘 포착할 수 있는 모델 개발.
• 의미적 변화 탐지 모델의 강력한 훈련 및 평가를 지원하기 위해 대규모이고 철저히 애너테이션된 데이터셋 SECOND를 구축.
• 적응형 임계값 학습과 분리된 캄파 계수를 활용하여 모델 훈련 및 평가 중 클래스 레이블 불균형의 영향을 최소화.
• 다양한 인코더 백본에 걸쳐 최신 기술 수준의 방법들에 비해 일관된 성능 향상을 달성.

제안 방법

• 다른 수신장과 파arameter 수를 가진 서로 다른 비대칭 인코더를 사용하여 두 개의 다중 시점 영상을 별도로 처리하는 비대칭 시아노이드 네트워크(ASN) 설계.
• ASN의 두 브랜치에서 특징 쌍을 추출하며, 비대칭성 덕분에 지형 유형 간의 공간적 및 분포적 격리성을 더 잘 모델링할 수 있다.
• 훈련 중에 분류 임계값을 동적으로 조정함으로써 레이블 불균형으로 인한 편향을 줄이기 위해 적응형 임계값 학습(ATL) 모듈 도입.
• 변경된 클래스와 변경되지 않은 클래스에 대해 별도로 캄파 점수를 계산하여 불균형 데이터셋에서의 모델 성능를 더 잘 반영할 수 있도록 분리된 캄파 계수(SeK) 제안.
• 클래스 불균형 문제를 추가로 해결하기 위해 포지티브 및 네거티브 예측에 대한 포지티브 가중치를 적용한 포칼 손실 성분을 포함한 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련.
• 정밀한 경계를 가지는 픽셀 단위의 변화 예측을 생성하기 위해 특징 수준의 연결 및 정제 헤드 활용.

실험 결과

연구 질문

• RQ1 비대칭 시아노이드 아키텍처가 대칭 대비 지형 커버 분포의 다양성을 더 효과적으로 모델링함으로써 의미적 변화 탐지 성능 향상에 기여할 수 있는가?
• RQ2 제안된 적응형 임계값 학습(ATL) 모듈이 훈련 중 클래스 레이블 불균형의 부정적 영향을 어느 정도 감소시키는가?
• RQ3 분리된 캄파(SeK) 계수는 기존의 표준 캄파 지표에 비해 불균형 데이터셋에서 모델 평가의 신뢰성을 어떻게 향상시키는가?
• RQ4 제안된 방법이 ResNet 및 EfficientNet와 같은 다양한 백본 아키텍처에 대해 의미적 변화 탐지 작업에서 일반화 가능한가?
• RQ5 새로가서 촬영한 대규모 데이터셋에서 ASN 모델의 성능은 최신 기술 수준의 방법들과 비교해 어떻게 되는가?

주요 결과

• 제안된 비대칭 시아노이드 네트워크(ASN)는 ResNet 및 EfficientNet를 포함한 다양한 인코더 백본에서 최신 기술 수준의 방법들에 비해 일관된 성능 향상을 달성한다.
• 적응형 임계값 학습(ATL) 모듈은 레이블 불균형으로 인한 부정적 영향을 효과적으로 줄여 드물게 발생하는 변화 유형의 안정적이고 정확한 탐지에 기여한다.
• 분리된 캄파(SeK) 계수는 변경된 픽셀과 변경되지 않은 픽셀에 대해 별도로 성능를 평가함으로써 불균형 데이터에서의 모델 성능 평가의 신뢰성과 세밀함을 향상시킨다.
• 대규모 SEmantic Change detectiON Dataset(SECOND)는 강력한 훈련 및 평가를 가능하게 하며, 다양한 지형 유형과 시간 쌍에 걸쳐 모델의 뛰어난 일반화 성능을 보여준다.
• 정량적 결과는 ASN이 SECOND 벤치마크에서 기존의 대칭 시아노이드 및 비시아노이드 모델들보다 F1 점수와 IoU 측면에서 뛰어난 성능을 보임을 입증한다.