[논문 리뷰] SPCL: A New Framework for Domain Adaptive Semantic Segmentation via Semantic Prototype-based Contrastive Learning

Binhui Xie, Li, Mingjia외 1명|arXiv (Cornell University)|2021. 11. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 68인용 수 5

한 줄 요약

이 논문은 세분화된 클래스 정렬을 위해 의미 프로토타입 기반 대비 학습을 활용하는 새로운 도메인 적응형 세분화 프레임워크인 SPCL을 제안한다. 소스 레이블에서 동적 의미 프로토타입을 구성하고, 대비 손실을 통해 소스 및 타겟 도메인의 픽셀 특징을 이러한 프로토타입에 정렬함으로써, 내부 클래스의 응집도를 높이고 클래스 간 분리도를 향상시킨다. 이로 인해 SPCL는 GTA5→Cityscapes 및 SYNTHIA→Cityscapes 벤치마크에서 각각 mIoU 52.1%와 47.2%의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Although there is significant progress in supervised semantic segmentation, it remains challenging to deploy the segmentation models to unseen domains due to domain biases. Domain adaptation can help in this regard by transferring knowledge from a labeled source domain to an unlabeled target domain. Previous methods typically attempt to perform the adaptation on global features, however, the local semantic affiliations accounting for each pixel in the feature space are often ignored, resulting in less discriminability. To solve this issue, we propose a novel semantic prototype-based contrastive learning framework for fine-grained class alignment. Specifically, the semantic prototypes provide supervisory signals for per-pixel discriminative representation learning and each pixel of source and target domains in the feature space is required to reflect the content of the corresponding semantic prototype. In this way, our framework is able to explicitly make intra-class pixel representations closer and inter-class pixel representations further apart to improve the robustness of the segmentation model as well as alleviate the domain shift problem. Our method is easy to implement and attains superior results compared to state-of-the-art approaches, as is demonstrated with a number of experiments. The code is publicly available at https://github.com/BinhuiXie/SPCL.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인 간 특징의 구분 능력을 향상시켜 도메인 이동 문제를 해결하기 위해.
• 지역적 의미 일관성을 유지하지 못하는 전역적이고 군집화된 클래스 정렬 방법의 한계를 극복하기 위해.
• 의미 프로토타입을 활용해 픽셀 수준에서 내부 클래스 응집도와 외부 클래스 분리도를 명시적으로 향상시키기 위해.
• 자기 지율과 대비 학습을 활용한 비지도 도메인 적응을 위한 단순하면서도 효과적인 프레임워크를 개발하기 위해.
• 표준 크로스 도메인 세분화 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 소스 도메인의 진짜 레이블을 사용해 각 클래스에 대한 동적 의미 프로토타입을 구성하여 감독 신호로 활용한다.
• 타겟 도메인의 의사 레이블을 사용해 픽셀을 클래스별 하위 집합으로 그룹화하여 프로토타입 정렬을 수행한다.
• 동일한 클래스의 픽셀-프로토타입 쌍(양성 쌍)과 다른 클래스의 쌍(음성 쌍)을 두 도메인 모두에 대해 구성한다.
• 각 픽셀 표현이 해당 의미 프로토타입과 가까이 있고, 다른 프로토타입과 멀리 있도록 유도하는 대비 손실을 도입한다.
• 타겟 도메인에서 특징 표현을 더욱 정교하게 다듬기 위해 자기 지율 손실을 적용한다.
• 학습 중에 프로토타입을 동적으로 업데이트하여 신뢰도를 향상시키고 드리프트를 방지한다.

실험 결과

연구 질문

• RQ1 의미 프로토타입에 의해 이끌리는 픽셀 수준의 구분 능력 있는 표현 학습이 세분화의 도메인 적응에 기여하는가?
• RQ2 프로토타입 기반 대비 학습을 통한 세분화된 클래스 정렬이 전역적 또는 군집화된 정렬보다 도메인 이동을 더 효과적으로 줄이는가?
• RQ3 기존 최신 기술 수준의 방법과 비교해 본다면, 제안된 방법은 긴 꼬리 클래스 및 경계 클래스에서 어떻게 성능을 내는가?
• RQ4 대비 손실 및 자기 지율 손실 구성 요소가 전체 성능에 기여하는 정도는 어떠한가?
• RQ5 학습률 및 프로토타입 업데이트 가중치와 같은 하이퍼파rameter 선택에 대해 이 방법은 얼마나 강인한가?

주요 결과

• GTA5→Cityscapes 벤치마크에서 SPCL는 mIoU 52.1%를 달성하여 기준 모델인 AdaptSegNet보다 +10.7%p 향상되었다.
• SYNTHIA→Cityscapes 벤치마크에서 SPCL는 47.2% mIoU를 기록하여 기준 모델보다 +8.0%p 향상되었다.
• 꼬리 클래스에서의 성능 향상이 뚜렷했으며, 각각 GTA5→Cityscapes 및 SYNTHIA→Cityscapes에서 mIoU 꼬리 클래스 개선 폭이 +12.3%와 +10.5%였다.
• t-SNE 시각화 결과, SPCL는 기존 방법보다 더 구분 능력 있고 일관성 있는 특징 표현을 생성하는 것으로 확인되었다.
• 절단 실험 결과, 소스 및 타겟 도메인의 대비 손실을 모두 조합할 경우 성능 향상이 가장 크게 나타났으며, GTA5→Cityscapes에서 +7.8%p mIoU 향상이 이루어졌다.
• 프로토타입을 동적으로 업데이트할 경우(α < 1.0), 고정된 프로토타입보다 최적의 성능을 달성하며, 하이퍼파ram터 변화에 대해 강인함을 입증했다.