[논문 리뷰] ESL: Entropy-guided Self-supervised Learning for Domain Adaptation in Semantic Segmentation

Antoine Saporta, Tuan-Hung Vu외 2명|arXiv (Cornell University)|2020. 06. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 33

한 줄 요약

ESL은 비지도 도메인 적응에서 의사레이블의 신뢰도 기준으로 엔트로피를 사용하여 자체 학습을 개선하고 여러 벤치마크에서 최신 연구성과를 달성합니다.

ABSTRACT

While fully-supervised deep learning yields good models for urban scene semantic segmentation, these models struggle to generalize to new environments with different lighting or weather conditions for instance. In addition, producing the extensive pixel-level annotations that the task requires comes at a great cost. Unsupervised domain adaptation (UDA) is one approach that tries to address these issues in order to make such systems more scalable. In particular, self-supervised learning (SSL) has recently become an effective strategy for UDA in semantic segmentation. At the core of such methods lies `pseudo-labeling', that is, the practice of assigning high-confident class predictions as pseudo-labels, subsequently used as true labels, for target data. To collect pseudo-labels, previous works often rely on the highest softmax score, which we here argue as an unfavorable confidence measurement. In this work, we propose Entropy-guided Self-supervised Learning (ESL), leveraging entropy as the confidence indicator for producing more accurate pseudo-labels. On different UDA benchmarks, ESL consistently outperforms strong SSL baselines and achieves state-of-the-art results.

연구 동기 및 목표

• 도메인 시프트 하에서 조밀한 타깃 어노테이션 없이도 견고한 의미 체계 분할을 목표로 합니다.
• 타깃 도메인에 대해 더 높은 품질의 의사레이블을 구축하기 위해 신뢰도 측정으로 엔트로피를 활용합니다.
• 엔트로피 기반 의사레이블링을 반복적 도메인 정렬/자체 학습 프레임워크에 통합합니다.
• 합성에서 실도메인으로의 도메인 적응 벤치마크에서 소프트맥스 기반 SSL Baselines 대비 개선점을 보여줍니다.

제안 방법

• 핵심 UDA 메커니즘으로 적대적 도메인 정렬을 채택하되 판별기 D와 분할 모델 F를 사용합니다.
• 소스 분할 손실과 타깃 예측을 소스 도메인과 정렬하는 적대적 손실을 최소화하도록 F를 학습합니다.
• 자체 감독 학습 단계를 반복합니다. 이 단계에서 F로부터 타깃 영상에 대한 의사레이블을 생성하고 이를 사용해 F를 추가로 학습합니다.
• 표준 소프트맥스 기반 의사레이블링을 엔트로피 기반 의사레이블 추출로 대체하고, 클래스별 엔트로피 임계치를 사용해 타깃 픽셀을 필터링합니다.
• 엔트로피를 E = - (1/log C) sum_c P(c) log P(c) 로 정의하고 클래스별 엔트로피 임계치를 사용해 신뢰할 수 있는 의사레이블을 선택합니다.
• 라벨 수와 품질의 균형을 맞추기 위해 데이터셋별 휴리스틱 값으로 mu*(softmax)와 nu*(엔트로피) 임계치를 사용합니다.

실험 결과

연구 질문

• RQ1 SSL 기반 UDA의 의미 체계 분할에서 타깃 의사레이블 선택 시 최대 소프트맥스 확률보다 엔트로피가 더 신뢰할 수 있는 신뢰도 대리 지표가 될 수 있나요?
• RQ2 엔트로피 기반 의사레이레이블링이 의사레이블의 품질을 개선하고 타깃 도메인 분할 성능의 가시적 향상으로 이어지나요?
• RQ3 ESL이 반복적 자체 학습 파이프라인에서 기존의 도메인 정렬 전략(예: 적대적 출력 공간 정렬 또는 특징 공간 정렬)과 어떻게 상호작용하나요?
• RQ4 다양한 도메인 시프트(합성-실제 데이터셋)에서 엔트로피 기반 의사레이블 선택을 위한 강건한 가이드라인(임계치)은 무엇인가요?

주요 결과

• 엔트로피 기반 의사레이블링은 여러 UDA 벤치마크에서 강력한 SSL baselines 대비 일관되게 성능을 향상시킵니다.
• ESL은 테스트 설정에서 최첨단 결과를 낳으며 평균 IoU 지표에서 소프트맥스 기반 의사레이레이블링을 능가합니다.
• 엔트로피 기준은 경계 및 불확실한 영역을 더 효과적으로 걸러 냄으로써 부정확한 의사레이블에서 발생하는 확인 편향을 줄입니다.
• 타깃 도메인 적대적 도메인 정렬 방법과 결합된 ESL의 한 번의 반복은 상당한 이득을 제공합니다.
• 엔트로피 기반 의사레이블링은 더 쉬운 클래스의 잘못된 의사레이블을 줄여 자체 학습 신호를 정리하는 데 기여합니다.