[논문 리뷰] Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training

Yang Zou, Zhiding Yu외 2명|arXiv (Cornell University)|2018. 10. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 50

한 줄 요약

이 논문은 반복적 자기 학습을 사용한 시맨틱 분할을 위한 비지도 도메인 적응 프레임워크를 제안한다. 클래스 균형 자기 학습(CBST) 및 CBST와 공간 사전(CBST-SP)을 도입하여 클래스 불균형과 공간 구조를 해결하고 합성-실제 및 도시 간 도메인 전환에서 최첨단 결과를 달성한다.

ABSTRACT

Recent deep networks achieved state of the art performance on a variety of semantic segmentation tasks. Despite such progress, these models often face challenges in real world `wild tasks' where large difference between labeled training/source data and unseen test/target data exists. In particular, such difference is often referred to as `domain gap', and could cause significantly decreased performance which cannot be easily remedied by further increasing the representation power. Unsupervised domain adaptation (UDA) seeks to overcome such problem without target domain labels. In this paper, we propose a novel UDA framework based on an iterative self-training procedure, where the problem is formulated as latent variable loss minimization, and can be solved by alternatively generating pseudo labels on target data and re-training the model with these labels. On top of self-training, we also propose a novel class-balanced self-training framework to avoid the gradual dominance of large classes on pseudo-label generation, and introduce spatial priors to refine generated labels. Comprehensive experiments show that the proposed methods achieve state of the art semantic segmentation performance under multiple major UDA settings.

연구 동기 및 목표

• 실세계의 도메인 시프트가 있는 밀집 시맨틱 분할을 위한 비지도 도메인 적응을 동기화한다.
• 타깃 라벨을 잠재적 의사 라벨로 간주하고 모델 매개변수와 함께 이를 공동 최적화하는 자기 학습 프레임워크를 개발한다.
• 의사 라벨의 클래스 불균형 문제를 해결하기 위해 클래스 균형 자기 학습(CBST)을 도입한다.
• 소스/타깃 도메인이 레이아웃을 공유할 때 공간 사전(spatial priors)을 활용하여 의사 라벨의 품질을 향상시킨다.

제안 방법

• 프레임 pseudo-label 추정과 네트워크 훈련을 딥 self-training 루프에서 손실 최소화 문제로 구성한다.
• 가장 자신감 있는 의사 라벨을 점진적으로 선택하는 자기 주도 학습(ST) 체계를 도입한다.
• 클래스별 신뢰도를 정규화하여 의사 라벨 생성을 클래스 간 균형 있게 만드는 CBST를 제안한다.
• 의사 라벨 선택에 공간 사전 qn(c)를 도입하여 CBST-SP를 도출한다.
• 루프당 의사 라벨 포함을 제어하기 위한 페이싱 매개변수 k(및 클래스 가중치 kc)를 결정하기 위한 실용 알고리즘을 제공한다.
• 선택적으로 CBST-SP와 MST(다중 스케일 테스트)로 더 큰 이득을 얻을 수 있다.

실험 결과

연구 질문

• RQ1 자기 학습이 적대적 학습 없이도 시맨틱 분할의 비지도 도메인 적응에서 경쟁력 있는/최고의 성능을 달성할 수 있는가?
• RQ2 클래스 간 의사 라벨의 균형(CBST)이 일반적인 자기 학습에 비해 transfer를 향상시키는가? 특히 전이하기 어려운 클래스에서 그렇다.
• RQ3 공간 사전이 소스/타깃 도메인이 유사한 장면 구성을 공유할 때 도움이 되는가(CBST-SP)?
• RQ4 Synthetic-to-real(GTA5/SYNTHIA→Cityscapes) 및 도시 간(Cityscapes→NTHU) 도메인 전환에서 ST, CBST, CBST-SP의 성능은 어떠한가?

주요 결과

• CBST와 CBST-SP는 합성-실제 및 도시 간 전환을 포함한 주요 UDA 설정에서 최첨단 또는 경쟁력 있는 성능을 달성한다.
• GTA5→Cityscapes에서 ResNet-38일 때 CBST는 46.2% mean IoU를 얻고 MST(다중 스케일 테스트)를 적용하면 mean IoU가 47.0%에 도달한다.
• CBST는 per-class 전이 난이도를 해결함으로써 vanilla ST보다 향상되며, 특히 처음에 전이 난이도가 높은 클래스에서 개선된다.
• CBST-SP는 소스와 대상 도메인이 공간 레이아웃을 공유할 때 적응력을 추가로 높여 보고된 설정에서 기준 방법을 능가한다.
• SYNTHIA→Cityscapes에서 ResNet-38를 사용한 CBST는 우수한 성능을 보이며 ST보다 현저한 이점을 얻는다(예: 이전 방법 대비 +1.7 mIoU 등).