[논문 리뷰] SRDA-Net: Super-Resolution Domain Adaptation Networks for Semantic Segmentation.

Zhenjie Tang, Bin Pan외 4명|arXiv (Cornell University)|2020. 05. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 7

한 줄 요약

SRDA-Net은 원격 감지 영역에서 세분화를 위한 초해상도 및 도메인 적응을 동시에 수행하는 엔드 투 엔드 딥 러닝 프레임워크이다. 초해상도 및 세분화 생성기(SRS) 간의 적대적 훈련과 두 개의 판별기(PDC 및 ODC)를 사용하여 픽셀 수준의 외관과 출력 레이블 분포에서 소스 및 타겟 도메인을 정렬한다. 이는 교차 해상도 원격 감지 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

Recently, Unsupervised Domain Adaptation was proposed to address the domain shift problem in semantic segmentation task, but it may perform poor when source and target domains belong to different resolutions. In this work, we design a novel end-to-end semantic segmentation network, Super-Resolution Domain Adaptation Network (SRDA-Net), which could simultaneously complete super-resolution and domain adaptation. Such characteristics exactly meet the requirement of semantic segmentation for remote sensing images which usually involve various resolutions. Generally, SRDA-Net includes three deep neural networks: a Super-Resolution and Segmentation (SRS) model focuses on recovering high-resolution image and predicting segmentation map; a pixel-level domain classifier (PDC) tries to distinguish the images from which domains; and output-space domain classifier (ODC) discriminates pixel label distributions from which domains. PDC and ODC are considered as the discriminators, and SRS is treated as the generator. By the adversarial learning, SRS tries to align the source with target domains on pixel-level visual appearance and output-space. Experiments are conducted on the two remote sensing datasets with different resolutions. SRDA-Net performs favorably against the state-of-the-art methods in terms of accuracy and visual quality. Code and models are available at this https URL.

연구 동기 및 목표

• 소스 및 타겟 도메인이 서로 다른 이미지 해상도를 가질 때 세분화에서 발생하는 도메인 이동 문제를 해결한다.
• 동시에 초해상도 및 도메인 적응을 수행하는 엔드 투 엔드 학습을 가능하게 한다.
• 교차 해상도 도메인 이동이 있는 원격 감지 이미지에서 세분화 정확도와 시각적 품질을 향상시킨다.
• 도메인 간 시각적 외관과 레이블 분포를 모두 정렬하는 통합 프레임워크를 개발한다.

제안 방법

• 저해상도 입력에서 고해상도 세분화 맵을 생성하기 위해 초해상도 및 세분화(SRS) 모델을 통합한다.
• 픽셀 수준의 도메인 분류기(PDC)를 사용하여 소스 및 타겟 도메인 이미지를 픽셀 수준에서 구분한다.
• 출력 영역 도메인 분류기(ODC)를 사용하여 소스 및 타겟 도메인의 레이블 분포를 구분한다.
• SRS를 생성기로, PDC/ODC를 판별기로 사용하여 적대적 훈련을 통해 도메인을 정렬한다.
• 적대적 손실, 세분화 손실, 초해상도 손실을 사용하여 네트워크를 엔드 투 엔드로 최적화한다.
• 적대적 훈련을 통한 특징 수준 정렬을 활용하여 도메인 이동 영향을 감소시킨다.

실험 결과

연구 질문

• RQ1 동시 초해상도 및 도메인 적응이 교차 해상도 원격 감지 데이터에서 세분화 성능을 향상시킬 수 있는가?
• RQ2 픽셀 수준 및 출력 영역 도메인 판별기를 모두 사용한 적대적 훈련은 도메인 이동을 얼마나 효과적으로 줄이는가?
• RQ3 제안된 SRDA-Net은 저해상도 및 고해상도 도메인 전이 시나리오에서 기존 도메인 적응 방법보다 우수한가?
• RQ4 초해상도 과정에서 모델은 타겟 도메인 분포에 적응하면서도 의미적 및 시각적 정밀도를 어느 정도 유지하는가?

주요 결과

• SRDA-Net은 서로 다른 해상도를 가진 두 개의 원격 감지 데이터셋에서 최고 성능을 달성한다.
• 기존 비지도 도메인 적응 방법에 비해 세분화 정확도와 시각적 품질이 향상된다.
• 초해상도 및 도메인 적응의 동시 최적화가 도메인 간 특징 정렬을 더 잘 이끌어낸다.
• PDC 및 ODC를 모두 사용함으로써 픽셀 수준과 출력 수준에서 도메인 정렬이 크게 향상된다.
• 소스 및 타겟 도메인이 해상도에서 다를 경우에도 도메인 이동을 효과적으로 감소시킨다.
• 코드 및 훈련된 모델은 재현성 및 향후 연구를 위해 공개되어 있다.