[논문 리뷰] Domain Adaptation for Semantic Segmentation via Patch-Wise Contrastive Learning

Weizhe Liu, David Ferstl외 4명|arXiv (Cornell University)|2021. 04. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 25

한 줄 요약

이 논문은 의미 분할에서 비지도(UDA) 및 반지도(SSDA) 도메인 적응을 위한 패치 단위 대조 학습(patch-wise contrastive learning) 접근법을 제시하며, 적대적 학습을 피하고 특히 타겟 주석이 제한될 때 최첨단 성능을 달성한다.

ABSTRACT

We introduce a novel approach to unsupervised and semi-supervised domain adaptation for semantic segmentation. Unlike many earlier methods that rely on adversarial learning for feature alignment, we leverage contrastive learning to bridge the domain gap by aligning the features of structurally similar label patches across domains. As a result, the networks are easier to train and deliver better performance. Our approach consistently outperforms state-of-the-art unsupervised and semi-supervised methods on two challenging domain adaptive segmentation tasks, particularly with a small number of target domain annotations. It can also be naturally extended to weakly-supervised domain adaptation, where only a minor drop in accuracy can save up to 75% of annotation cost.

연구 동기 및 목표

• 도메인 간 격차를 라벨 공간의 패치 수준 구조적 유사성 정렬을 통해 줄인다.
• 도메인 정렬을 위해 대립 목표 대신 대조 학습을 활용한다.
• 미라추정으로 라벨이 없는 데이터를 통해 불확실성을 줄이고 타깃 도메인 성능을 향상시킨다.
• 무감독(UDA), 반감독(SSDA), 약지도(weakly-supervised) 설정에서의 효과를 입증하여 주석 비용을 줄인다.

제안 방법

• 이미지를 패치로 표현하고 인코더와 패치 인식 잠재 프로젝터를 통해 패치별 잠재 특징을 학습한다.
• 레이블 공간에서 피라미드 형태의 레이블링 히스토그램(레이블-스페이스 공간 피라미드 매칭, 3 수준)을 사용해 패치 수준의 의미적 차이 D를 정의하고 대조 학습의 양성/음성 패치를 판단한다.
• 패치별 대조 손실 L_cont를 구성해 출발지/목표 간 비슷한 패치(D가 작음)를 서로 가깝게 모으고 서로 다른 패치를 서로 멀어지게 만든다.
• 유효 표식된 출발지/목표 데이터에 대한 지도적 크로스 엔트로피 손실과 미레이 라벨 데이터에 대한 엔트로피 규제 손실을 결합한 기본 손실 L_base로 불확실성을 줄인다.
• 선택적으로 라벨이 없는 타깃 샘플에 대한 의사 라벨을 생성해 L_self를 형성하고 SSDA 성능을 향상시킨다.
• 학습 전에 소스 이미지를 타깃 도메인으로 번역하기 위해 푸리에 도메인 적응(FDA)을 통합한다.
• 먼저 기본 손실을 최적화한 뒤 대조 및 자기 학습 항들을 함께 최적화하는 단계적 학습 전략으로 훈련한다.

실험 결과

연구 질문

• RQ1 패치 수준의 도메인 간 대조 정렬이 의미 분할에서 적대적 특징 정렬보다 우수한가?
• RQ2 레이블 공간의 구조적 차이를 활용해 교차 도메인에서 의미 있는 양성/음성 패치 쌍을 정의할 수 있는가?
• RQ3 라벨이 없는 타깃 데이터와 의사 라벨이 SSDA 성능에 어떤 영향을 미치는가?
• RQ4 주석을 어느 정도까지 줄여도 성능 저하를 크게 막을 수 있는가(약지도 설정에서)?

주요 결과

• 제안된 패치 단위 대조 학습 방식은 비지도 및 반지도 도메인 적응 모두에서 최첨단 방법보다 지속적으로 우수한 성능을 보인다.
• SSDA에서 타깃 도메인 주석이 희소한 경우(예: 50–100장 이미지)에서 완전한 지도 학습 baseline에 비해 더 큰 이득을 얻는다.
• 타깃으로의 소스-타깃 번역에 FDA를 사용하고 패치 단위 대조 손실을 함께 적용하면 도메인 적응 성능이 향상된다.
• 대조 학습의 비최대최소(minimax) 특성으로 인해 학습이 더 쉽고 안정적이며, 적대적 방법보다 훈련이 더 원활하다.
• 부분 주석(약지도) 시나리오에서도 성능이 여전히 강하게 유지될 수 있어 주석 비용을 최대 약 75%까지 줄일 수 있다.