[논문 리뷰] Unsupervised Domain Adaptation for Semantic Image Segmentation: a Comprehensive Survey

Gabriela Csurka, Riccardo Volpi외 1명|arXiv (Cornell University)|2021. 12. 06.

Domain Adaptation and Few-Shot Learning인용 수 26

한 줄 요약

DASiS(시맨틱 이미지 분할에 대한 비지도 도메인 적응)의 포괄적 조사로, 문제 공식화, 방법의 분류 체계, 정렬 수준, 데이터셋을 상세히 다룬다.

ABSTRACT

Semantic segmentation plays a fundamental role in a broad variety of computer vision applications, providing key information for the global understanding of an image. Yet, the state-of-the-art models rely on large amount of annotated samples, which are more expensive to obtain than in tasks such as image classification. Since unlabelled data is instead significantly cheaper to obtain, it is not surprising that Unsupervised Domain Adaptation reached a broad success within the semantic segmentation community. This survey is an effort to summarize five years of this incredibly rapidly growing field, which embraces the importance of semantic segmentation itself and a critical need of adapting segmentation models to new environments. We present the most important semantic segmentation methods; we provide a comprehensive survey on domain adaptation techniques for semantic segmentation; we unveil newer trends such as multi-domain learning, domain generalization, test-time adaptation or source-free domain adaptation; we conclude this survey by describing datasets and benchmarks most widely used in semantic segmentation research. We hope that this survey will provide researchers across academia and industry with a comprehensive reference guide and will help them in fostering new research directions in the field.

연구 동기 및 목표

• 시맨틱 분할에서의 주석 비용으로 인한 DASiS 문제와 그 동기를 명확히 한다.
• 기존 DASiS 방법을 정렬 수준, 백본, 보완 기법별로 조사하고 분류한다.
• 다중 도메인 학습, 도메인 일반화, 테스트-타임 적응, 소스-프리 적응과 같은 경향을 강조한다.
• DASiS 연구를 위한 데이터셋, 벤치마크, 평가 프로토콜에 대한 지침을 제공한다.

제안 방법

• 소스 도메인과 타깃 도메인 및 픽셀 단위 분할 결과를 가진 형식의 공식적인 UDA/DASiS 프레임워크를 제시한다.
• 정렬 수준(입력/이미지 수준, 특징 수준, 출력/예측 수준) 및 네트워크 공유 구성에 따라 DASiS 접근법을 분류한다.
• 배포 차이 최소화, 도메인 판별기를 포함한 적대적 학습, 작업 특화 손실 등을 포함한 핵심 손실과 학습 전략을 설명한다.
• 입력 수준 정렬의 수단으로서 이미지 수준 스타일 전송과 이미지 간 변환에 대해 논의한다.
• DASiS를 위한 자기지도, 커리큘럼 학습, 엔트로피 최소화, 공동 학습과 같은 보완 기술을 조사한다.
• DASiS를 위한 데이터셋, 지표, 평가 프로토콜의 분류 체계와 통합적 관점을 제공한다.

실험 결과

연구 질문

• RQ1 표적 주석 없이 도메인 간에 시맨틱 분할 모델을 전달하는 주요 도전과제는 무엇인가?
• RQ2 분할 파이프라인의 여러 수준에서 DASiS 방법이 소스 분포와 타깃 분포를 효과적으로 정렬할 수 있는 방법은 무엇인가?
• RQ3 DASiS를 위한 도메인 정렬 기술과 보완 전략의 가장 효과적인 조합은 무엇인가?
• RQ4 데이터셋과 평가 프로토콜이 DASiS 방법의 벤치마킹에 어떤 영향을 미치는가?
• RQ5 DASiS에서 도메인 일반화, 테스트-타임 적응, 소스-프리 접근 방식과 같은 새로운 경향은 무엇인가?

주요 결과

• 픽셀, 특징, 출력 수준의 정렬을 강조하는 DASiS 방법의 광범위한 분류 체계가 제시된다.
• 다중 수준 또는 영역별 표현과 함께 적대적 학습 및 분포 차이 최소화가 일반적이다.
• 입력 수준(이미지/스타일) 전송 및 의미 일관성 제약은 특징 수준 정렬의 효과적인 보완 요소이다.
• 이 조사는 다중 도메인 학습, 도메인 일반화, 소스-프리 적응, 그리고 테스트-타임 적응을 증가하는 경향으로 논의한다.
• 데이터셋과 벤치마크, 평가 지표 및 프로토콜의 상세 비교가 공정한 비교를 안내하기 위해 제공된다.