[논문 리뷰] Differential Treatment for Stuff and Things: A Simple Unsupervised Domain Adaptation Method for Semantic Segmentation

Zhonghao Wang, Mo Yu외 6명|arXiv (Cornell University)|2020. 03. 18.

Domain Adaptation and Few-Shot Learning인용 수 19

한 줄 요약

이 논문은 'stuff'(예: 하늘, 도로)와 'things'(예: 차량, 보행자)를 차별적으로 다루는 새로운 비지도 도메인 적응 방법을 제안한다. 이는 전역적 특징 벡터를 통한 stuff 영역 정렬과 인스턴스 수준의 매칭을 통한 인스턴스 정렬을 통해 이루어지며, 가장 유사한 소스 특징까지의 거리를 최소화하고 GAN 학습을 안정화시킴으로써, GTA5→Cityscapes(50.1) 및 SYNTHIA→Cityscapes(52.1) 벤치마크에서 새로운 최고의 mIoU 점수를 달성한다.

ABSTRACT

We consider the problem of unsupervised domain adaptation for semantic segmentation by easing the domain shift between the source domain (synthetic data) and the target domain (real data) in this work. State-of-the-art approaches prove that performing semantic-level alignment is helpful in tackling the domain shift issue. Based on the observation that stuff categories usually share similar appearances across images of different domains while things (i.e. object instances) have much larger differences, we propose to improve the semantic-level alignment with different strategies for stuff regions and for things: 1) for the stuff categories, we generate feature representation for each class and conduct the alignment operation from the target domain to the source domain; 2) for the thing categories, we generate feature representation for each individual instance and encourage the instance in the target domain to align with the most similar one in the source domain. In this way, the individual differences within thing categories will also be considered to alleviate over-alignment. In addition to our proposed method, we further reveal the reason why the current adversarial loss is often unstable in minimizing the distribution discrepancy and show that our method can help ease this issue by minimizing the most similar stuff and instance features between the source and the target domains. We conduct extensive experiments in two unsupervised domain adaptation tasks, i.e. GTA5 to Cityscapes and SYNTHIA to Cityscapes, and achieve the new state-of-the-art segmentation accuracy.

연구 동기 및 목표

• 합성 소스 데이터(예: GTA5, SYNTHIA)를 실세계 타겟 데이터(예: Cityscapes)로 적응시키는 비지도 도메인 적응에서 발생하는 도메인 이동 문제를 해결한다.
• 모든 특징을 동일하게 취급하는 전역 적대적 손실의 한계를 극복하며, 이는 학습 반복 과정에서의 불안정성과 성능 저하를 초래한다.
• 'stuff'(예: 도로, 하늘) 카테고리는 도메인 간 외관 변동성이 낮은 반면, 'things'(예: 차량, 사람)는 인스턴스 수준에서 높은 다양성을 보이므로, 서로 다른 적응 전략이 필요하다는 것을 인식한다.
• 타겟 도메인의 stuff 영역을 전역 소스 도메인 클래스 특징과 정렬하고, 타겟 도메인의 인스턴스를 가장 유사한 소스 도메인 인스턴스와 매칭함으로써 특징 정렬을 향상시킨다.
• 가장 유사한 소스 및 타겟 특징 간의 거리를 명시적으로 최소화하여 GAN 기반 적응을 안정화시키며, 과도한 정렬을 줄이고 수렴성을 향상시킨다.

제안 방법

• ‘stuff’과 ‘things’를 별도로 다루는 Stuff and Instance Matching (SIM) 모듈을 도입한다. ‘stuff’에 대해서는 정렬을 위해 전역 클래스 수준의 특징 벡터를 사용하고, ‘things’에 대해서는 각 타겟 인스턴스를 가장 유사한 소스 인스턴스와 매칭한다.
• 모든 ‘stuff’ 및 ‘things’에 대해 가장 유사한 소스 및 타겟 특징 간의 거리를 최소화하기 위해 L1 손실을 적용함으로써, 전역 분포 매칭보다 더 정확하고 안정적인 적응을 가능하게 한다.
• 학습 중에 효율적이고 최신 상태의 매칭을 가능하게 하기 위해 고정된 수의 소스 도메인 특징 샘플(w=50)을 저장하는 메모리 백업을 사용한다.
• 출력 영역 기반 적대적 적응 프레임워크에 SIM 모듈을 통합하여, 적대적 손실 및 세그멘테이션 손실과 함께 특징 정렬과 세그멘테이션 정확도를 동시에 최적화한다.
• 타겟 도메인에 대해 고신뢰도의 의사 레이블을 생성하고 모델을 재학습함으로써 자기지도 학습을 적용함으로써 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 ‘stuff’와 ‘things’ 간의 외관 변동성의 차이를 고려함으로써, 비지도 도메인 적응에서 세그멘테이션의 정확도를 향상시킬 수 있는 방법은 무엇인가?
• RQ2 표준 GAN 기반 적대적 학습이 세그멘테이션 도메인 적응에서 장기간의 학습 반복 동안 불안정하게 작동하는 이유는 무엇인가?
• RQ3 전역 분포 매칭 대비 가장 가까운 소스-타겟 특징 간 거리의 명시적 최소화가 정렬 정확도 향상과 과도한 정렬 감소에 기여하는가?
• RQ4 ‘stuff’와 ‘things’에 대해 별도의 대응 전략을 적용함으로써, GTA5→Cityscapes 및 SYNTHIA→Cityscapes와 같은 표준 벤치마크에서 더 나은 성능을 낼 수 있는가?
• RQ5 제안된 SIM 모듈과 함께 자기지도 학습을 통한 의사 레이블링이 성능 향상에 기여하는가?

주요 결과

• 제안된 SIM 방법은 GTA5→Cityscapes 벤치마크에서 새로운 최고의 mIoU 50.1을 달성하여 이전 방법들을 능가한다.
• SYNTHIA→Cityscapes 벤치마크에서, 이 방법은 새로운 최고의 mIoU 52.1을 기록하였으며, 소스 도메인에서만 학습한 기준선 38.6보다 크게 향상되었다.
• 제거 분석 결과, SIM 모듈을 추가함으로써 mIoU가 적대적 학습만을 사용할 때의 46.0에서 47.1로 향상되어 그 효과를 입증하였다.
• 최적의 초모수 설정은 λ_ci = 0.01 및 w = 50이며, 여기서 w는 저장된 소스 특징 샘플의 수를 의미하며, 특징의 다양성과 모델의 최신성 간 균형을 이룬다.
• 고신뢰도 의사 레이블링을 통한 자기지도 학습은 성능을 추가로 향상시키며, SYNTHIA→Cityscapes에서 mIoU를 47.1에서 52.1로 증가시켜, 이 방법의 확장성과 강건성을 확인시켰다.