[논문 리뷰] Unsupervised Domain Adaptation in Semantic Segmentation: a Review

Marco Toldo, Andrea Maracani외 2명|arXiv (Cornell University)|2020. 05. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 118인용 수 27

한 줄 요약

이 종합 검토는 영역 간 적응(UDA) 기법에 대해 의미 분할 분야에서 포괄적인 리뷰를 제공하며, 적응 수준(입력, 특징, 출력)과 학습 범진(예: 대비 학습, 자기 지도 학습, 엔트로피 최소화)에 따라 기법을 분류한다. 이 리뷰는 ResNet-101 기반 모델이 최적의 설정에서 최상의 성능을 기록하며, GTA5에서 Cityscapes로의 적응에서 mIoU가 최대 68.5%에 이를 수 있음을 보여준다.

ABSTRACT

The aim of this paper is to give an overview of the recent advancements in the Unsupervised Domain Adaptation (UDA) of deep networks for semantic segmentation. This task is attracting a wide interest, since semantic segmentation models require a huge amount of labeled data and the lack of data fitting specific requirements is the main limitation in the deployment of these techniques. This problem has been recently explored and has rapidly grown with a large number of ad-hoc approaches. This motivates us to build a comprehensive overview of the proposed methodologies and to provide a clear categorization. In this paper, we start by introducing the problem, its formulation and the various scenarios that can be considered. Then, we introduce the different levels at which adaptation strategies may be applied: namely, at the input (image) level, at the internal features representation and at the output level. Furthermore, we present a detailed overview of the literature in the field, dividing previous methods based on the following (non mutually exclusive) categories: adversarial learning, generative-based, analysis of the classifier discrepancies, self-teaching, entropy minimization, curriculum learning and multi-task learning. Novel research directions are also briefly introduced to give a hint of interesting open problems in the field. Finally, a comparison of the performance of the various methods in the widely used autonomous driving scenario is presented.

연구 동기 및 목표

• 비지도 영역 간 적응(UDA) 기반 의미 분할 분야의 최근 발전에 대한 체계적인 개요 제공.
• 적응 수준(입력, 특징, 출력 또는 네트워크 수준)과 학습 범진에 따라 기존 UDA 기법을 분류하기.
• 특히 자동주행 차량에서 흔한 합성-실제 도메인 이동 시나리오에서 표준 벤치마크에서 다양한 UDA 기법의 성능 분석.
• 열린 집합 및 무한 집합 UDA, 그리고 태스크 간 전이 가능성과 같은 열린 문제와 향후 연구 방향 식별.
• Cityscapes, GTA5, SYNTHIA와 같은 널리 사용되는 데이터셋에서 최신 기법 간 비교를 통해 백본 아키텍처에 따른 성능 추세 파악.

제안 방법

• UDA 기법을 상호 배타적이지 않은 일곱 가지 범진으로 분류: 대비 학습, 생성 모델, 분류기 불일치 분석, 자기 지도 학습, 엔트로피 최소화, 교육과정 학습, 다중 작업 학습.
• 세 가지 수준에서의 적응 전략 분석: 입력 수준(예: 이미지 스타일 전이), 특징 수준(예: 도메인 불변 표현 학습), 출력 수준(예: 도메인 간 예측 일관성).
• 주요 평가 지표로 평균 교차율(mIoU)를 사용하며, 공식은 $\mathrm{mIoU} = \sum_{i=1}^{N} \frac{\mathrm{IoU}_i}{N}$ 로 정의되며, 여기서 $\mathrm{IoU}_i = \frac{TP_i}{TP_i + FP_i + FN_i}$.
• 표준 벤치마크인 GTA5 → Cityscapes 및 SYNTHIA → Cityscapes에서 기법을 검토하고 비교하며, ResNet-101과 VGG-16 백본을 사용.
• 백본 아키텍처별로 mIoU 결과를 그룹화한 그림을 통해 성능 추세를 시각화하며, ResNet-101이 다른 아키텍처보다 일관되게 뛰어난 성능을 보임을 강조.
• 엔코더-디코더 아키텍처(예: FCN, DeepLab, PSPNet)와 같은 아키텍처 선택의 중요성 분석 및 특징 계층 학습을 통한 영역 간 적응 가능성을 설명.

실험 결과

연구 질문

• RQ1 입력, 특징, 출력 수준의 다양한 적응 수준이 의미 분할에서 UDA의 성능에 어떤 영향을 미치는가?
• RQ2 대비 학습, 자기 지도 학습, 엔트로피 최소화와 같은 학습 범진 중 어느 것이 도메인 간 의미 분할에서 가장 강력한 성능을 내는가?
• RQ3 GTA5-to-Cityscapes 및 SYNTHIA-to-Cityscapes와 같은 표준 벤치마크에서 최신 UDA 기법의 비교 성능는 어떠한가?
• RQ4 왜 ResNet 기반 모델은 의미 분할에서 UDA에 있어 다른 아키텍처보다 일관되게 뛰어난 성능을 내는가?
• RQ5 열린 집합 및 지속적 학습 설정에서 의미 분할을 위한 UDA의 주요 열린 문제와 향후 연구 방향은 무엇인가?

주요 결과

• GTA5에서 Cityscapes로의 적응에서 ResNet-101 기반 모델이 가장 높은 mIoU 성능을 기록하며, 최적의 평가 프로토콜 하에서 최대 68.5%에 이를 수 있다.
• VGG-16은 의미 분할에서 UDA에 가장 널리 사용되는 백본이지만, 여러 벤치마크에서 ResNet-101이 일관되게 뛰어난 성능을 보인다.
• SYNTHIA에서 Cityscapes로의 벤치마크에서 16개 클래스를 사용한 모델이 13개 클래스를 사용한 모델보다 더 높은 mIoU를 기록함으로써, 클래스 수준의 세분성은 적응 성능에 영향을 미친다.
• Mapillary 데이터셋에서 가장 뛰어난 성능을 낸 기법(Spadotto 등, 2020)은 GTA5에서의 적응에서 mIoU 41.9를 기록하며, 더 다양하고 복잡한 실세계 환경으로의 적응이 여전히 도전 과제임을 시사한다.
• 다시 말해, 상당한 진전에도 불구하고 최고의 UDA 모델들은 여전히 타겟 도메인에서 지도 학습 성능에 못 미치며, 향후 개선 여지가 크다.
• 이 리뷰는 열린 집합 및 무한 집합 UDA를 향후 연구 방향으로 제안하며, 도메인 이동이 예측 불가능하고 동적인 실세계 환경에 적용할 경우 특히 유망하다고 강조한다.