[논문 리뷰] LoveDA: A Remote Sensing Land-Cover Dataset for Domain Adaptive Semantic Segmentation

Junjue Wang, Zhuo Zheng외 3명|arXiv (Cornell University)|2021. 10. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 161

한 줄 요약

LoveDA는 도심부와 농촌 도메인을 가진 고해상도 원격 탐사 토지피복 데이터세트를 도입하여 시맨틱 세분화와 비지도 도메인 적응을 연구하고, 여러 모델과 UDA 방법들에 대해 벤치마크를 수행한다.

ABSTRACT

Deep learning approaches have shown promising results in remote sensing high spatial resolution (HSR) land-cover mapping. However, urban and rural scenes can show completely different geographical landscapes, and the inadequate generalizability of these algorithms hinders city-level or national-level mapping. Most of the existing HSR land-cover datasets mainly promote the research of learning semantic representation, thereby ignoring the model transferability. In this paper, we introduce the Land-cOVEr Domain Adaptive semantic segmentation (LoveDA) dataset to advance semantic and transferable learning. The LoveDA dataset contains 5987 HSR images with 166768 annotated objects from three different cities. Compared to the existing datasets, the LoveDA dataset encompasses two domains (urban and rural), which brings considerable challenges due to the: 1) multi-scale objects; 2) complex background samples; and 3) inconsistent class distributions. The LoveDA dataset is suitable for both land-cover semantic segmentation and unsupervised domain adaptation (UDA) tasks. Accordingly, we benchmarked the LoveDA dataset on eleven semantic segmentation methods and eight UDA methods. Some exploratory studies including multi-scale architectures and strategies, additional background supervision, and pseudo-label analysis were also carried out to address these challenges. The code and data are available at https://github.com/Junjue-Wang/LoveDA.

연구 동기 및 목표

• 도시 및 농촌 도메인을 갖춘 도전적인 고해상도(HSR) 토지피복 데이터세트를 도입하여 도메인 전이 가능성을 연구한다.
• LoveDA에서 시맨틱 세분화와 무감독 도메인 적응(unsupervised domain adaptation) 벤치마크를 제공한다.
• 다중 스케일 객체, 복잡한 배경, 불일치하는 클래스 분포 등의 도전 과제를 분석하여 향후 방법을 안내한다.

제안 방법

• 0.3 m 해상도 이미지를 중국 3개 도시의 18개 지역에서 수집하고 도시-농촌의 두 도메인 분할을 구성한다.
• 8개 토지피복 클래스로 픽셀 수준으로 주석을 달고, 공간적으로 독립적인 train/val/test 분할을 보장한다.
• LoveDA에서 11개 시맨틱 세분화 모델과 8개 UDA 방법을 벤치마크하여 기준치를 설정한다.
• 다중 스케일 아키텍처와 전략, 추가 배경 감독, 그리고 의사 라벨 분석을 조사하여 도전 과제를 해결한다.
• 데이터 증가, 최적화, 백본 사전 학습 정보를 포함한 기본 훈련 세부 정보를 제공한다.
• 재현성을 위해 코드와 데이터를 공개한다.

실험 결과

연구 질문

• RQ1 최신 시맨틱 세분화 모델은 LoveDA에서 도시 도메인과 농촌 도메인 간에 얼마나 잘 일반화되는가?
• RQ2 대립적(adversarial) 및 자체 학습(self-training) UDA 방법은 LoveDA에서 교차 도메인 토지피복 세분화에 얼마나 효과적인가?
• RQ3 다중 스케일 전략과 배경 감독이 LoveDA의 세분화 정확도에 어떤 영향을 미치는가?
• RQ4 의사 라벨 분석(CBST 등)이 불일치하는 클래스 분포하에서 UDA 성능에 어떤 영향을 미치는가?

주요 결과

• LoveDA는 도시와 농촌 도메인을 포함하고 불일치하는 클래스 분포로 인해 교차 도메인 평가를 가능하게 한다.
• HRNet은 테스트된 아키텍처 중 강력한 세분화 성능을 달성하며 다중 스케일 융합의 이점을 얻는다.
• 훈련 및 테스트 중 다중 스케일 증강(MSTrTe)이 방법에 걸쳐 mIoU를 크게 향상시킨다.
• 배경 감독은 특히 도전적인 배경 클래스에 대해 세분화를 향상시킨다.
• UDA에서 자기 훈련(self-training) 방법이 교차 도메인 간 클래스 분포 불일치로 인해 일반적으로 대립적 방법보다 더 우수하다.
• CBST 의사 라벨링은 대상 클래스 비율에 대해 강건성을 보이고 적절한 튜닝 하에 교차 도메인 성능을 크게 향상시킬 수 있다.