[논문 리뷰] Category Anchor-Guided Unsupervised Domain Adaptation for Semantic Segmentation

Qiming Zhang, Jing Zhang외 2명|arXiv (Cornell University)|2019. 10. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 114

한 줄 요약

요약: 이 논문은 범주별 앵커를 이용한 UDA 모델(CAG-UDA)을 제시한다. 이 모델은 의미 세분화를 위해 활성 타깃 샘플을 식별하고, 의사 레이블을 할당하며, 도메인 간 특징을 정렬하는 범주별 앵커를 사용하여 GTA5→Cityscapes 및 SYNTHIA→Cityscapes에서 최첨단 결과를 달성한다.

ABSTRACT

Unsupervised domain adaptation (UDA) aims to enhance the generalization capability of a certain model from a source domain to a target domain. UDA is of particular significance since no extra effort is devoted to annotating target domain samples. However, the different data distributions in the two domains, or \\emph{domain shift/discrepancy}, inevitably compromise the UDA performance. Although there has been a progress in matching the marginal distributions between two domains, the classifier favors the source domain features and makes incorrect predictions on the target domain due to category-agnostic feature alignment. In this paper, we propose a novel category anchor-guided (CAG) UDA model for semantic segmentation, which explicitly enforces category-aware feature alignment to learn shared discriminative features and classifiers simultaneously. First, the category-wise centroids of the source domain features are used as guided anchors to identify the active features in the target domain and also assign them pseudo-labels. Then, we leverage an anchor-based pixel-level distance loss and a discriminative loss to drive the intra-category features closer and the inter-category features further apart, respectively. Finally, we devise a stagewise training mechanism to reduce the error accumulation and adapt the proposed model progressively. Experiments on both the GTA5$\ ightarrow $Cityscapes and SYNTHIA$\ ightarrow $Cityscapes scenarios demonstrate the superiority of our CAG-UDA model over the state-of-the-art methods. The code is available at \\url{https://github.com/RogerZhangzz/CAG_UDA}.

연구 동기 및 목표

• Semantic segmentation의 비지도 도메인 적응에서 도메인 시프트 문제를 해결한다.
• 명시적 범주별 특징 정렬 및 신뢰할 수 있는 의사 레이블을 가능하게 하는 범주 앵커를 제안한다.
• 의사 레이블로 인한 오류 누적을 줄이기 위한 단계별 학습 메커니즘을 개발한다.
• GTA5→Cityscapes 및 SYNTHIA→Cityscapes 데이터셋에서 최첨단 성능을 입증한다.

제안 방법

• 소스 도메인 특징에서 범주별 중심점(범주 앵커)을 계산한다.
• 앵커까지의 거리를 측정하여 활성 타깃 샘플을 식별하고 의사 레이블을 할당한다.
• 범주 내 분산을 줄이기 위해 앵커 기반 픽셀 수준 거리 손실을 사용한다.
• 범주 간 분산을 증가시키고 결정 경계를 다듬기 위해 판별 손실을 사용한다.
• 의사 레이블의 안정성과 점진적 적응을 위하여 단계별 학습 절차를 구현한다.

실험 결과

연구 질문

• RQ1 범주 앵커가 의미 세분화의 효과적인 비지도 도메인 적응에 도움을 줄 수 있는가?
• RQ2 앵커 기반 정렬 및 의사 레이블링이 라벨 없는 정렬 방법에 비해 타깃 도메인 세분화 성능을 향상시키는가?
• RQ3 UD A 중 의사 레이블로 인한 오류 누적을 단계별 학습이 완화하는가?
• RQ4 CAG-UDA가 GTA5→Cityscapes 및 SYNTHIA→Cityscapes에서 최첨단 방법에 비해 어떤 성능을 보이는가?

주요 결과

• CAG-UDA는 Stage 3에서 GTA5→Cityscapes의 평균 IoU(mIoU) 50.2를 달성하여 이전 SOTA 방법을 능가한다.
• GTA5→Cityscapes 테스트에서 CAG-UDA는 19개 클래스에 대해 51.7 mIoU를 달성한다.
• SYNTHIA→Cityscapes에서 CAG-UDA는 13-클래스(mIoU*) 및 16-클래스(mIoU) 벤치마크에서 이전 방법보다 우수하다.
• 범주 앵커를 활용한 단계별 학습은 단일 단계 접근법 및 워밍업만 사용하는 경우에 비해 상당한 이점을 보인다.
• 의사 레이블 대신 확률 기반 의사 레이블보다 범주 앵커 기반 의사 레이블이 더 안정적인 감독 신호를 제공한다.