[논문 리뷰] Unsupervised domain adaptation semantic segmentation of high-resolution remote sensing imagery with invariant domain-level prototype memory

Jingru Zhu, Ya Guo외 4명|arXiv (Cornell University)|2022. 08. 16.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 고해상도 위성 영상 의미 분할을 위한 새로운 비지도 도메인 적응 프레임워크인 MemoryAdaptNet을 제안한다. 이 방법은 도메인 간 특징 표현을 안정화하기 위해 도메인 불변 도메인 수준의 프로토타입 메모리 기반의 기법을 사용한다. 카테고리 주의 기반의 컨텍스트 집약과 엔트로피 기반의 가짜 레이블 필터링을 통합함으로써, 세 가지의 크로스 도메인 HRS 분할 벤치마크에서 최신 기술 수준의 성능을 달성하며, 타겟 데이터의 레이블이 필요 없이 도메인 간 분포 이질성의 영향을 크게 감소시킨다.

ABSTRACT

Semantic segmentation is a key technique involved in automatic interpretation of high-resolution remote sensing (HRS) imagery and has drawn much attention in the remote sensing community. Deep convolutional neural networks (DCNNs) have been successfully applied to the HRS imagery semantic segmentation task due to their hierarchical representation ability. However, the heavy dependency on a large number of training data with dense annotation and the sensitiveness to the variation of data distribution severely restrict the potential application of DCNNs for the semantic segmentation of HRS imagery. This study proposes a novel unsupervised domain adaptation semantic segmentation network (MemoryAdaptNet) for the semantic segmentation of HRS imagery. MemoryAdaptNet constructs an output space adversarial learning scheme to bridge the domain distribution discrepancy between source domain and target domain and to narrow the influence of domain shift. Specifically, we embed an invariant feature memory module to store invariant domain-level context information because the features obtained from adversarial learning only tend to represent the variant feature of current limited inputs. This module is integrated by a category attention-driven invariant domain-level context aggregation module to current pseudo invariant feature for further augmenting the pixel representations. An entropy-based pseudo label filtering strategy is used to update the memory module with high-confident pseudo invariant feature of current target images. Extensive experiments under three cross-domain tasks indicate that our proposed MemoryAdaptNet is remarkably superior to the state-of-the-art methods.

연구 동기 및 목표

• 원천 도메인과 타겟 도메인 간 분포 이질성으로 인한 고해상도 위성 영상(HRS) 의미 분할에서의 도메인 시프트 문제를 해결하기 위해.
• 타겟 데이터에 대한 비용이 많이 들고 밀도 높은 레이블이 필요한 의존도를 줄이기 위해, HRS 분할에서 비지도 도메인 적응(UDA)을 가능하게 하기 위해.
• 메모리 모듈을 통해 도메인 수준의 불변 표현을 학습함으로써 특징의 강건성과 일반화 능력을 향상시키기 위해.
• 엔트로피 기반 필터링과 컨텍스트 집약을 통해 가짜 레이블 품질과 특징 표현의 안정성을 향상시키기 위해.

제안 방법

• MemoryAdaptNet은 원천 도메인과 타겟 도메인 간 특징 분포를 정렬하기 위해 출력 공간 기반의 적대적 학습 기법을 사용한다.
• 도메인 불변 도메인 수준의 프로토타입 메모리 모듈은 타겟 도메인의 고신뢰도 가짜 레이블 특징을 사용하여 도메인 불변 컨텍스트 표현을 저장하고 갱신한다.
• 카테고리 주의 기반 모듈은 메모리 내의 불변 표현을 정교화하고 안정화하기 위해 컨텍스트 특징을 집약한다.
• 엔트로피 기반 필터링 전략은 메모리 갱신을 위해 높은 신뢰도의 가짜 레이블만 선택함으로써 예측 오류에 대한 강건성을 향상시킨다.
• 프레임워크는 적대적 학습과 메모리 기반 특징 정규화를 통해 분할과 도메인 정렬을 동시에 최적화한다.
• 메모리 모듈은 훈련 중 반복적으로 가짜 레이블 타겟 특징을 사용하여 갱신되며, 도메인 불변 프로토타입의 지속적인 개선을 가능하게 한다.

실험 결과

연구 질문

• RQ1 도메인 불변 프로토타입 메모리는 비지도 HRS 의미 분할에서 도메인 시프트를 효과적으로 줄일 수 있는가?
• RQ2 카테고리 인식 컨텍스트 집약을 통합할 경우, 크로스 도메인 환경에서 특징 표현의 안정성이 어떻게 향상되는가?
• RQ3 엔트로피 기반 가짜 레이블 필터링은 HRS 영상에 대한 UDA에서 메모리 갱신의 신뢰성에 얼마나 기여하는가?
• RQ4 제안된 메모리 모듈은 다양한 HRS 분할 벤치마크에서 일관된 성능 향상을 이끌 수 있는가?
• RQ5 다양한 도메인 간 설정에서 기존 최신 기술 수준의 UDA 방법과 비교해 MemoryAdaptNet의 강건성과 정확도는 어떠한가?

주요 결과

• MemoryAdaptNet은 세 가지 크로스 도메인 HRS 의미 분할 작업에서 최신 기술 수준의 성능을 달성하며, 기존 SOTA 방법을 초월한다.
• 제거 분석 결과, 도메인 불변 메모리 모듈과 엔트로피 기반 필터링이 모두 분할 정확도 향상에 기여함을 확인하였다.
• 학습된 도메인 불변 프로토타입을 통해 특징 표현을 안정화시킴으로써 도메인 시프트 영향을 감소시켰다.
• 카테고리 주의 메커니즘은 타겟 도메인의 의미적으로 관련 있는 컨텍스트에 집중함으로써 특징의 분류 능력을 향상시켰다.
• 제한된 또는 타겟 레이블이 전혀 없는 상황에서도 높은 성능을 유지하여 실제 비지도 도메인 적응 환경에서의 강력한 일반화 능력을 입증하였다.
• 다양한 데이터셋, 특히 VisDrone, Potsdam, Vaihingen에서 여러 도메인 적응 설정 하에 일관된 성능 향상을 달성하였다.