[논문 리뷰] Prototypical Pseudo Label Denoising and Target Structure Learning for Domain Adaptive Semantic Segmentation

Pan Zhang, Bo Zhang외 4명|arXiv (Cornell University)|2021. 01. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 71인용 수 36

한 줄 요약

ProDA는 실행 중에 클래스 프로토타입을 생성해 가짜 라벨의 노이즈를 제거하고 대상 구조의 일관성을 강화하며, 자기지도 모델로의 증류를 더해 최첨단 도메인 적응 의미 분할 성능을 달성합니다.

ABSTRACT

Self-training is a competitive approach in domain adaptive segmentation, which trains the network with the pseudo labels on the target domain. However inevitably, the pseudo labels are noisy and the target features are dispersed due to the discrepancy between source and target domains. In this paper, we rely on representative prototypes, the feature centroids of classes, to address the two issues for unsupervised domain adaptation. In particular, we take one step further and exploit the feature distances from prototypes that provide richer information than mere prototypes. Specifically, we use it to estimate the likelihood of pseudo labels to facilitate online correction in the course of training. Meanwhile, we align the prototypical assignments based on relative feature distances for two different views of the same target, producing a more compact target feature space. Moreover, we find that distilling the already learned knowledge to a self-supervised pretrained model further boosts the performance. Our method shows tremendous performance advantage over state-of-the-art methods. We will make the code publicly available.

연구 동기 및 목표

• 의사 라벨 품질과 대상 특징 구조를 개선하여 비지도 도메인 적응(UDA)에서의 도메인 간 격차를 해소한다.
• 온라인으로 의사 라벨을 보정하고 간결한 대상 특징 공간을 학습하기 위해 클래스 프로토타입을 활용한다.
• 증강된 뷰 간에 대상 표현을 일치시키기 위한 일관성 기반 구조 학습 모듈을 도입한다.
• 자기지도 사전학습 모델로의 증류가 UDA 성능을 추가로 향상시킨다는 것을 입증한다.

제안 방법

• 타겟 특성에서 실행 중인 클래스 프로토타입(η^(k))을 계산하고 이동평균 방식으로 업데이트한다.
• 프로토타입까지의 거리(식 4)에 따라 가중치 ω_t^(i,k)로 조정된 고정 보일러플레이트 소프트 라벨 p_t,0을 사용하여 의사 라벨을 보정한다.
• 노이즈가 있는 의사 라벨을 견딜 수 있도록 대칭 교차 엔트로피 손실(SCE)로 학습한다(식 7).
• 약한/강한 증강 간의 프로토타입 일관성을 KL-발산(식 9) 및 클래스 분포 규제항(식 10)을 통해 대상 구조를 강제한다.
• 선택적으로 KD 손실(식 12)을 사용하여 지식을 자기지도 사전학습 학생 모델로 증류한다.

실험 결과

연구 질문

• RQ1 온라인 프로토타입 정보가 의미 분할의 UDA에서 자기훈련 중에 노이즈 의사 라벨을 교정할 수 있는가?
• RQ2 프로토타입 일관성을 통한 집약된 대상 구조 강제가 라벨 노이즈 제거를 넘어 대상 도메인 구별력을 향상시키는가?
• RQ3 학습된 대상 지식을 자기지도 사전학습 모델로 증류하는 것이 UDA 성능에 미치는 영향은 무엇인가?
• RQ4 하이퍼파라미터 및 서로 다른 대상 도메인 데이터셋(GTA5/SYNTHIA to Cityscapes)에 대한 ProDA의 강건성은 어느 정도인가?

주요 결과

• ProDA는 GTA5→Cityscapes에서 최첨단 mIoU를 달성: 57.5.
• ProDA는 SYNTHIA→Cityscapes에서 최첨단 mIoU를 달성: 55.5(16개 카테고리) 및 62.0(13개 카테고리).
• 비적응 기반선의 이점: ProDA는 GTA5→Cityscapes에서 소스 학습 모델 대비 +20.9 mIoU를 제공하고, SYNTHIA→Cityscapes에서도(+20.6)의 큰 향상을 보였다.
• 행렬분해는 각 구성요소의 상당한 이득을 보이며: 프로토타입 기반 노이즈 제거, 대상 구조 학습, 지식 증류가 누적되어 57.5 mIoU에 도달할 수 있다; 전체 파이프라인은 일반적인 자기훈련을 크게 능가한다.
• 시각화 결과 ProDA가 기준선에 비해 더 촘촘하고 잘 구분된 대상 특징 클러스터를 생성함을 시사한다.