[논문 리뷰] DSDANet: Deep Siamese Domain Adaptation Convolutional Neural Network for Cross-domain Change Detection

Hongruixuan Chen, Chen Wu외 2명|arXiv (Cornell University)|2020. 06. 16.

Remote-Sensing Image Classification참고 문헌 57인용 수 19

한 줄 요약

이 논문은 다중스펙트럼 영상에서 도메인 간 변화 탐지에 사용할 수 있는 깊이 신경망 도메인 적응 컨volution 신경망(DSDANet)을 제안한다. 소스(라벨이 부여된) 도메인과 타겟(라벨이 없는) 도메인 간의 특징 분포를 정규화하기 위해 다중 커널 최대 평균 차이(MK-MMD)를 활용함으로써, DSDANet는 도메인 간 분포 이질성 문제를 크게 줄이고, 전이 가능한 특징을 학습함으로써 라벨이 부족한 타겟 도메인에서도 높은 성능의 변화 탐지가 가능하도록 한다.

ABSTRACT

Change detection (CD) is one of the most vital applications in remote sensing. Recently, deep learning has achieved promising performance in the CD task. However, the deep models are task-specific and CD data set bias often exists, hence it is inevitable that deep CD models would suffer degraded performance after transferring it from original CD data set to new ones, making manually label numerous samples in the new data set unavoidable, which costs a large amount of time and human labor. How to learn a transferable CD model in the data set with enough labeled data (original domain) but can well detect changes in another data set without labeled data (target domain)? This is defined as the cross-domain change detection problem. In this paper, we propose a novel deep siamese domain adaptation convolutional neural network (DSDANet) architecture for cross-domain CD. In DSDANet, a siamese convolutional neural network first extracts spatial-spectral features from multi-temporal images. Then, through multi-kernel maximum mean discrepancy (MK-MMD), the learned feature representation is embedded into a reproducing kernel Hilbert space (RKHS), in which the distribution of two domains can be explicitly matched. By optimizing the network parameters and kernel coefficients with the source labeled data and target unlabeled data, DSDANet can learn transferrable feature representation that can bridge the discrepancy between two domains. To the best of our knowledge, it is the first time that such a domain adaptation-based deep network is proposed for CD. The theoretical analysis and experimental results demonstrate the effectiveness and potential of the proposed method.

연구 동기 및 목표

• 라벨이 부여된 소스 도메인에서 학습한 모델이 라벨이 없는 타겟 도메인으로 이식될 때 성능 저하 문제를 해결한다.
• 소스 및 타겟 원격 감시 영상 데이터셋 간 분포 차이로 인한 도메인 이동 문제를 완화한다.
• 타겟 도메인에서 광범위한 수동 레이블링이 필요 없이도 이식 가능한 도메인 불변 특징을 학습할 수 있는 딥 러닝 프레임워크를 개발한다.
• 타겟 도메인 데이터 레이블링이 비용과 시간이 많이 들기 때문에 실생활 응용에서 효과적인 변화 탐지 기능을 제공한다.
• 시민 아키텍처와 MK-MMD를 활용한 도메인 적응 솔루션을 도메인 간 변화 탐지에 특화하여 제안한다.

제안 방법

• 소스 및 타겟 도메인의 다중시기 영상에서 공통된 공간-스펙트럼 특징을 추출하기 위해 시민 컨volution 신경망을 활용한다.
• 재생 핵 힐버트 공간(RKHS) 내에서 소스 및 타겟 도메인 특징 간 분포 이질성을 측정하고 최소화하기 위해 다중 커널 최대 평균 차이(MK-MMD)를 도입한다.
• 라벨이 부여된 소스 데이터와 라벨이 없는 타겟 데이터를 동시에 활용하여 네트워크 파라미터와 커널 계수를 동시에 최적화함으로써 도메인 불변 표현을 학습한다.
• 소스 데이터의 분류 손실과 MK-MMD를 통한 도메인 이질성 손실을 조합한 공동 손실 함수를 사용하여 엔드 투 엔드 학습을 유도한다.
• 특징 수준의 도메인 정렬을 적용하여 서로 다른 도메인에서 유도된 깊은 특징들이 통계적으로 유사해지도록 보장함으로써 모델의 일반화 능력을 향상시킨다.
• 소수의 타겟 도메인 라벨 샘플만을 사용하여 모델를 미세조정함으로써 높은 탐지 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 도메인 적응 기반의 깊이 시민 네트워크가 도메인 간 변화 탐지에서 도메인 이동 문제를 효과적으로 줄일 수 있는가?
• RQ2 MK-MMD 기반의 특징 정렬이 소스 도메인과 타겟 도메인 간 학습된 표현의 이식 가능성을 얼마나 향상시키는가?
• RQ3 DSDANet는 타겟 도메인에서 최소한의 라벨 데이터로 얼마나 높은 변화 탐지 정확도를 달성할 수 있는가?
• RQ4 제안된 방법은 대량의 타겟 라벨 데이터로 미세조정된 전용 모델보다 성능이 뛰어나게 되는가?
• RQ5 소스 도메인과 타겟 도메인이 상당히 다른 데이터 분포를 가질 경우에도 도메인 불변 특징을 효과적으로 학습할 수 있는가?

주요 결과

• DSDANet는 학습 과정에서 기준 모델 대비 일관되게 낮은 MK-MMD 값을 기록함으로써 도메인 간 이질성을 크게 감소시킴을 입증한다.
• DSDANet 특징에서는 DSCNet 특징보다 소스 도메인과 타겟 도메인 간 A-distance가 유의미하게 낮아, 더 나은 도메인 정렬을 나타낸다.
• t-SNE 시각화 결과 DSDANet는 도메인 간 특징 분포가 더 유사하게 학습되었으며, 변화 유무 클래스 간 명확한 분리가 이루어짐을 확인할 수 있다.
• DSDANet는 타겟 도메인 3개 데이터셋에서 희소한 타겟 레이블만을 사용하여도 기존의 대량 레이블 기반 미세조정 모델보다 뛰어난 변화 탐지 성능을 보였다.
• 제한된 타겟 레이블 조건에서도 DSDANet는 높은 이식 가능성과 강건성을 유지하여 실생활 응용에서 강력한 실용성을 입증했다.
• 이 방법은 도메인 간 변화 탐지에 대해 시민 컨volution 신경망 프레임워크 내에서 MK-MMD 기반 도메인 적응을 적용한 최초의 사례로, 분야 내 새로운 기준을 설정했다.