[논문 리뷰] Semantic Image Segmentation: Two Decades of Research

Gabriela Csurka, Riccardo Volpi외 1명|arXiv (Cornell University)|2023. 02. 13.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

SiS에 대한 2년간의 포괄적 고찰로, 역사적 방법, 딥러닝 발전, 트랜스포머, 약한 지도 학습, 그리고 DASiS 도메인 적응 환경과 데이터셋 및 벤치마크를 다룬다.

ABSTRACT

Semantic image segmentation (SiS) plays a fundamental role in a broad variety of computer vision applications, providing key information for the global understanding of an image. This survey is an effort to summarize two decades of research in the field of SiS, where we propose a literature review of solutions starting from early historical methods followed by an overview of more recent deep learning methods including the latest trend of using transformers. We complement the review by discussing particular cases of the weak supervision and side machine learning techniques that can be used to improve the semantic segmentation such as curriculum, incremental or self-supervised learning. State-of-the-art SiS models rely on a large amount of annotated samples, which are more expensive to obtain than labels for tasks such as image classification. Since unlabeled data is instead significantly cheaper to obtain, it is not surprising that Unsupervised Domain Adaptation (UDA) reached a broad success within the semantic segmentation community. Therefore, a second core contribution of this book is to summarize five years of a rapidly growing field, Domain Adaptation for Semantic Image Segmentation (DASiS) which embraces the importance of semantic segmentation itself and a critical need of adapting segmentation models to new environments. In addition to providing a comprehensive survey on DASiS techniques, we unveil also newer trends such as multi-domain learning, domain generalization, domain incremental learning, test-time adaptation and source-free domain adaptation. Finally, we conclude this survey by describing datasets and benchmarks most widely used in SiS and DASiS and briefly discuss related tasks such as instance and panoptic image segmentation, as well as applications such as medical image segmentation.

연구 동기 및 목표

• 사전 딥러닝 방법에서 현대의 딥러닝 및 트랜스포머까지 시맨틱 이미지 세그먼테이션의 진화를 검토한다.
• SiS를 개선하기 위한 약한 지도 학습, 커리큘럼 학습, 점진적 및 자기지도 학습 전략을 조사한다.
• SiS(DASiS)의 최근 5년간의 도메인 적응 및 도메인 일반화, 테스트 시 적응, 소스 없는 적응 등의 관련 작업을 요약한다.
• SiS 및 DASiS를 위한 데이터셋, 벤치마크, 평가 프로토콜을 정리하고 인스턴스 분할, 팬옵틱 분할 및 의료 영상 분할과 같은 관련 작업을 논의한다.

제안 방법

• SiS(제1장)와 DASiS(제2장)으로 두 부분으로 구성된 연구 조사를 조직한다.
• 백본, 디코더, 어텐션, 다중 스케일 전략으로 Deep SiS 모델을 분류한다; 인코더-디코더, FCN 및 트랜스포머 기반 방법을 포함한다.
• 표 2.1과 모델 간 데이터 흐름 및 설계 선택의 스키마를 제시한다.
• 약한 지도 학습, 커리큘럼 학습, 점진 학습, 자기지도 사전 학습과 같은 비표준 설정에 대해 논의한다.
• 3장에서 데이터셋, 벤치마크, 평가 프로토콜을 제공하고 4장에서 관련 작업을 논의한다.

실험 결과

연구 질문

• RQ1 지난 20년간 시맨틱 이미지 세그멘테이션에서 주요 방법론적 변화는 무엇인가?
• RQ2 도메인 적응 및 관련 DASiS 접근법이 도메인 시프트와 실제 배포 도전과제를 어떻게 다루었는가?
• RQ3 SiS와 DASiS 연구를 지배하는 데이터셋, 벤치마크, 평가 프로토콜은 무엇이며 어떻게 비교되는가?
• RQ4 트랜스포머와 자기지도 학습을 포함한 SiS의 열린 연구 방향과 향후 잠재적 트렌드는 무엇인가?

주요 결과

• 딥러닝이 SiS 성능을 주도해 왔지만, 대규모 주석 데이터에의 의존은 여전히 병목현상이다; 합성 데이터와 도메인 적응이 실제 데이터에의 간극을 메우는 데 도움을 준다.
• 트랜스포머와 어텐션 기계가 현대 SiS 모델의 중심 경향으로 부상했다.
• 광범위한 DASiS 분류 체계와 관련 작업(다중 소스/타깃 적응, 도메인 일반화, 소스 없는 적응, 테스트 시 적응)에 대한 논의가 이 분야의 포괄적 매핑을 제공한다.
• 커리큘럼 학습, 점진적 학습, 자기지도 전략이 완전히 감독된 데이터 없이 SiS를 개선하는 방법으로 강조된다.
• 본서는 데이터셋과 벤치마크를 열거하고 SiS를 인스턴스 분할, 팬오픽 분할, 의료 영상 분할과 같은 관련 작업 내에서 위치시키며 연구자 및 산업 현장 종사자를 위한 참고 가이드를 제공한다。