[논문 리뷰] Semantic Distribution-aware Contrastive Adaptation for Semantic Segmentation

Shuang Li, Binhui Xie외 5명|arXiv (Cornell University)|2021. 05. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 81인용 수 21

한 줄 요약

이 논문은 소스 도메인의 카테고리 수준 의미 분포를 활용하여 픽셀 수준 표현 정렬을 유도하는 대비 손실을 통해 의미 분할을 위한 도메인 적응을 위한 새로운 방법인 의미 분포 인식 대비 적응(SDCA)을 제안한다. 이 방법은 자기지도 학습과 조합될 경우 도메인 이동에 대해 더 높은 특징 구분 가능성과 강인성을 확보함으로써 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Domain adaptive semantic segmentation refers to making predictions on a certain target domain with only annotations of a specific source domain. Current state-of-the-art works suggest that performing category alignment can alleviate domain shift reasonably. However, they are mainly based on image-to-image adversarial training and little consideration is given to semantic variations of an object among images, failing to capture a comprehensive picture of different categories. This motivates us to explore a holistic representative, the semantic distribution from each category in source domain, to mitigate the problem above. In this paper, we present semantic distribution-aware contrastive adaptation algorithm that enables pixel-wise representation alignment under the guidance of semantic distributions. Specifically, we first design a pixel-wise contrastive loss by considering the correspondences between semantic distributions and pixel-wise representations from both domains. Essentially, clusters of pixel representations from the same category should cluster together and those from different categories should spread out. Next, an upper bound on this formulation is derived by involving the learning of an infinite number of (dis)similar pairs, making it efficient. Finally, we verify that SDCA can further improve segmentation accuracy when integrated with the self-supervised learning. We evaluate SDCA on multiple benchmarks, achieving considerable improvements over existing algorithms.The code is publicly available at https://github.com/BIT-DA/SDCA

연구 동기 및 목표

• 소스 도메인과 타겟 도메인 간의 카테고리 수준 특징 정렬을 향상시켜 의미 분할에서의 도메인 이동 문제를 해결한다.
• 기존의 카테고리 수준 적대적 방법에서 발생하는 이미지 수준의 변동성과 제한된 미니배치 다양성으로 인한 불안정하고 편향된 정렬 문제를 완화한다.
• 단일 중심점에 의존하는 대신 소스 도메인 내 각 의미 카테고리의 전체 분포를 모델링하여 특징의 구분 가능성을 향상시킨다.
• 의미 분포 가이던스를 활용하여 무한한 수의 픽셀 수준 특징 쌍을 암묵적으로 정렬할 수 있는 효율적이고 미분 가능한 대비 손실을 개발한다.
• 도메인 이동 하에서 분할 정확도 향상 효과를 검증하며, 특히 자기지도 학습 전훈과 조합했을 때의 성능 향상을 입증한다.

제안 방법

• 같은 의미 카테고리에 속한 특징들이 응집되고 다른 카테고리의 특징들이 분리되도록 유도하는 픽셀 수준의 대비 손실을 제안하며, 이는 소스 도메인 내 각 카테고리의 의미 분포에 의해 가이드된다.
• 실현 가능하고 효율적인 계산을 위해 대비 손실의 상한 근사치를 도입하여, 명시적 샘플링 없이도 무한한 (비)유사성 픽셀 쌍의 공동 학습을 가능하게 한다.
• 소스 데이터로부터 추정한 각 카테고리의 의미 분포를 통합된 대표자로 사용하여 특징 정렬을 가이드하며, 텍스처, 색상, 조명 등의 내부 카테고리 변동성을 포괄한다.
• 소스 및 타겟 특징에 대해 공유 인코더를 갖는 이중 브랜치 네트워크를 활용하며, 대비 손실은 양 도메인의 픽셀 수준 특징에 적용된다.
• 자기지도 학습(SSL)과 SDCA를 통합하여 성능을 추가로 향상시키며, 타겟 도메인의 무라벨 데이터를 활용해 특징 학습을 개선한다.
• t-SNE 시각화와 새로운 픽셀 수준 구분 거리(PDD) 지표를 도입하여 특징 클러스터링 및 분리 가능성의 정량적 평가를 수행한다.

실험 결과

연구 질문

• RQ1 소스 도메인 내 각 카테고리의 전체 의미 분포를 모델링함으로써 도메인 적응에서 의미 분할의 카테고리 수준 정렬이 더 안정적이고 정확해지는가?
• RQ2 의미 분포 가이던스를 갖는 대비 손실을 사용할 경우, 타겟 도메인에서 학습된 픽셀 수준 특징의 구분 능력이 향상되는가?
• RQ3 도메인 이동 하에서 mIoU 및 특징 클러스터링 품질 측면에서 SDCA는 최신 기술 수준(SOTA) 방법들과 비교해 어떻게 성능을 내는가?
• RQ4 SDCA를 자기지도 학습과 조합했을 때, 타겟 도메인에서의 일반화 능력과 성능 향상에 어느 정도 기여하는가?
• RQ5 SDCA는 임계값 δ 및 손실 가중치 계수와 같은 하이퍼파rameter에 대해 얼마나 민감한가?

주요 결과

• SDCA는 GTAV → Cityscapes 및 SYNTHIA → Cityscapes를 포함한 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며 기존 SOTA 방법을 능가한다.
• t-SNE 시각화 결과, 다른 방법들과 비교해 SDCA가 의미 카테고리 간에 가장 명확하고 잘 분리된 특징 클러스터를 생성하는 것으로 나타났다.
• 제안된 픽셀 수준 구분 거리(PDD) 지표는 SDCA가 CLAN, FADA, SIM 및 CAG-UDA보다 유의미하게 높은 내부 카테고리 밀도와 외부 카테고리 분리도를 확보하고 있음을 확인했다.
• 민감도 분석 결과, SDCA는 다양한 하이퍼파rameter 범위에서도 높은 성능 유지를 보이며, δ 및 손실 가중치의 중간 값에서 mIoU가 최고로 나타나 안정성을 입증했다.
• 자기지도 학습과 조합했을 때 SDCA는 분할 정확도가 추가로 향상되었으며, 이는 SSL 전훈과의 호환성과 상호보완성을 보여준다.
• 대비 손실의 상한 근사치는 명시적 음성 쌍 샘플링 없이도 효율적인 학습을 가능하게 하여, 이론적으로 실용적이고 확장 가능한 방법임을 입증한다.