[논문 리뷰] Semi-Supervised Domain Adaptation via Adaptive and Progressive Feature Alignment

Jiaxing Huang, Dayan Guan외 2명|arXiv (Cornell University)|2021. 06. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 5

한 줄 요약

이 논문은 SSDAS를 제안하며, 이는 소수의 레이블된 타겟 샘플을 앵커로 사용하여 적응형 교차 도메인 특징 정렬과 점진적 내부 도메인 정렬을 가능하게 하는 새로운 준지도 학습 도메인 적응 세그멘테이션 프레임워크이다. 유사도 기반으로 소스 특징을 반복적으로 재가중하고, 유사성이 낮은 소스 특징을 높은 신뢰도의 타겟 특징으로 대체함으로써 SSDAS는 GTA5→Cityscapes 및 기타 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 비지도 학습 및 준지도 학습 방법을 모두 능가한다.

ABSTRACT

Contemporary domain adaptive semantic segmentation aims to address data annotation challenges by assuming that target domains are completely unannotated. However, annotating a few target samples is usually very manageable and worthwhile especially if it improves the adaptation performance substantially. This paper presents SSDAS, a Semi-Supervised Domain Adaptive image Segmentation network that employs a few labeled target samples as anchors for adaptive and progressive feature alignment between labeled source samples and unlabeled target samples. We position the few labeled target samples as references that gauge the similarity between source and target features and guide adaptive inter-domain alignment for learning more similar source features. In addition, we replace the dissimilar source features by high-confidence target features continuously during the iterative training process, which achieves progressive intra-domain alignment between confident and unconfident target features. Extensive experiments show the proposed SSDAS greatly outperforms a number of baselines, i.e., UDA-based semantic segmentation and SSDA-based image classification. In addition, SSDAS is complementary and can be easily incorporated into UDA-based methods with consistent improvements in domain adaptive semantic segmentation.

연구 동기 및 목표

• 큰 도메인 갭을 가진 비지도 학습 도메인 적응(UDA)의 한계를 극복하기 위해 소수의 레이블된 타겟 샘플을 통합함으로써 도메인 간 특징 정렬을 향상시키는 것.
• 이전에 준지도 학습 도메인 적응(SSDA)에서 다루지 않은 바람직하지 않은 작업인 세그멘테이션에 특화된 준지도 학습 도메인 적응(SSDA) 프레임워크를 개발하는 것.
• 레이블된 타겟 샘플을 동적 앵커로 사용하여 소스 및 타겟 도메인 간의 특징 정렬을 향상시키는 것.
• 학습 중에 유사성이 낮은 소스 특징을 높은 신뢰도의 타겟 특징으로 점진적으로 대체하여 소스 특징의 정교화를 가능하게 하는 것.
• SSDAS가 기존의 UDA 방법과 호환되며 성능을 향상시킬 수 있음을 입증하는 것.

제안 방법

• 소수의 레이블된 타겟 샘플을 앵커로 삼아 소스 및 타겟 특징 간의 교차 도메인 유사도(CDS)를 계산하는 것.
• 레이블된 타겟 특징과의 유사도에 기반해 소스 특징을 적응적으로 재가중하여 타겟 유사 특징에 더 높은 가중치를 할당하는 것.
• 새로운 가중치를 적용한 소스 특징을 사용해 특징 중심을 업데이트하여 정렬을 이끄는 것.
• 업데이트된 특징 중심에 맞추어 타겟 특징을 정렬함으로써 도메인 정렬을 정교화하는 것.
• 반복적인 학습 과정에서 유사성이 낮은 소스 특징을 고신뢰도의 타겟 특징으로 점진적으로 대체하여 내부 도메인 정렬을 향상시키는 것.
• 자신감 있는 특징을 추출하기 위해 점퍼 퍼즐 분류기를 사용하며, 이는 도메인 정렬에 활용되지만, 기존의 특징과도 잘 작동한다.

실험 결과

연구 질문

• RQ1 소수의 레이블된 타겟 샘플이 도메인 적응 세그멘테이션 성능을 크게 향상시킬 수 있는가?
• RQ2 레이블된 타겟 샘플을 어떻게 효과적으로 활용하여 도메인 간 적응형이고 점진적인 특징 정렬을 이끌 수 있는가?
• RQ3 제안된 방법이 세그멘테이션 분야에서 기존의 비지도 학습 및 준지도 학습 도메인 적응 접근법을 능가하는가?
• RQ4 제안된 방법이 기존의 비지도 학습 도메인 적응 프레임워크와 호환되며 상호 보완적인가?
• RQ5 레이블된 타겟 샘플의 수와 하이퍼파라미터의 변화에 대해 이 방법은 얼마나 강건한가?

주요 결과

• GTA5→Cityscapes 벤치마크에서 20개의 레이블된 타겟 샘플을 사용할 경우 SSDAS는 평균 교차율(мIoU) 52.6%를 달성하며, 베이스라인 S+T 방법(44.6%)을 크게 능가한다.
• 레이블된 타겟 샘플이 단 1개일 경우에도 SSDAS는 48.5%의 мIoU를 기록하여 극한의 소수 샘플 설정에서도 강력한 성능을 보여준다.
• 하이퍼파라미터 변화에 대해 강건함: 점퍼 퍼즐 손실 가중치(λj)와 퍼즐 클래스 수(N)의 다양한 값에서도 성능이 안정적으로 유지된다.
• 문맥 인식 특징과 기존 특징 모두에서 효과적으로 작동하며, 문맥 특징을 사용할 경우 GTA5→Cityscapes에서 49.7%의 мIoU, 기존 특징을 사용할 경우 47.1%의 мIoU를 기록한다.
• 기존 UDA 방법에 통합할 경우 SSDAS는 일관되게 성능 향상을 이끌어내어, 상호 보완성과 일반화 능력을 입증한다.
• 정성적 분석과 특징 시각화 결과는 SSDAS가 도메인 갭을 감소시키고 도메인 간 특징의 응집도를 향상시킨다는 것을 확인한다.