[논문 리뷰] Source-Free Domain Adaptation for Semantic Segmentation

Yuang Liu, Wei Zhang외 1명|arXiv (Cornell University)|2021. 03. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 13

한 줄 요약

이 논문은 원천 데이터에 접근할 수 없음에도 불구하고 사전 학습된 원천 모델의 지식을 레이블이 없는 타겟 도메인으로 전이하는 소스 프리 도메인 적응(SFDA) 프레임워크를 제안한다. 이는 이중 주의 투자(distillation)를 갖춘 생성기로 원천 유사 가짜 샘플을 합성하고, 타겟 도메인 내에서 피드백 레이블이 부여된 패치 수준의 자기지도 학습 모듈을 활용하여, 도시 간 및 실재로 향한 시뮬레이션 기반 벤치마크에서 최신의 소스 기반 UDA 방법과 경쟁 가능한 성능을 달성한다.

ABSTRACT

Unsupervised Domain Adaptation (UDA) can tackle the challenge that convolutional neural network(CNN)-based approaches for semantic segmentation heavily rely on the pixel-level annotated data, which is labor-intensive. However, existing UDA approaches in this regard inevitably require the full access to source datasets to reduce the gap between the source and target domains during model adaptation, which are impractical in the real scenarios where the source datasets are private, and thus cannot be released along with the well-trained source models. To cope with this issue, we propose a source-free domain adaptation framework for semantic segmentation, namely SFDA, in which only a well-trained source model and an unlabeled target domain dataset are available for adaptation. SFDA not only enables to recover and preserve the source domain knowledge from the source model via knowledge transfer during model adaptation, but also distills valuable information from the target domain for self-supervised learning. The pixel- and patch-level optimization objectives tailored for semantic segmentation are seamlessly integrated in the framework. The extensive experimental results on numerous benchmark datasets highlight the effectiveness of our framework against the existing UDA approaches relying on source data.

연구 동기 및 목표

• 개인정보나 상업적 제약으로 인해 원천 데이터셋이 가용하지 않을 수 있는 실용적 제약 조건을 고려한 무 supervision 도메인 적응(UDA)의 문제를 해결한다.
• 원천 데이터에 접근할 수 없는 상황에서 원천 도메인 지식을 유지하는 데 도전한다.
• 사전 학습된 원천 모델과 타겟 도메인의 레이블이 없는 데이터셋만을 사용하여 효과적인 적응을 가능하게 한다.
• 픽셀 수준의 의미 일致성을 유지하고 타겟 도메인의 자기지도 신호를 활용하는 프레임워크를 설계한다.
• 소스 프리와 소스 기반 UDA 방법 간의 성능 격차를 해소한다.

제안 방법

• 원천 데이터 없이도 지식 전이가 가능한 이중 단계 프레임워크를 제안: 생성기를 사용한 데이터 프리 지식 전이 기반의 지식 전이.
• 합성 샘플의 문맥적 및 의미적 관계를 유지하기 위해 이중 주의 투자(DAD) 메커니즘을 도입한다. 이는 더 나은 픽셀 수준의 지식 전이를 가능하게 한다.
• 원천 모델 예측과 합성 샘플 예측 간 평균 절대 오차(MAE)를 최소화하도록 생성기를 훈련시켜 분포 일치를 보장한다.
• 타겟 도메인 내에서 고신뢰도이고 올바르게 분할된 패치를 식별하고 활용하는 도메인 내 패치 수준 자기지도 학습 모듈(IPSM)을 설계한다.
• 적응 과정에서 생성적 손실, MAE 손실, DAD 손실, IPSM 손실을 조합하여 타겟 모델을 최적화하며, 초수기수 α와 β를 통해 가중치를 적응적으로 조정한다.
• 원천 모델과 타겟 모델의 중간 레이어 간 특징 수준의 투자를 통해 적응 과정에서 특징 수준의 일致성을 향상시킨다.

실험 결과

연구 질문

• RQ1 원천 데이터에 접근할 수 없음에도 불구하고 원천 도메인 지식을 효과적으로 복구하고 타겟 도메인으로 전이할 수 있는가?
• RQ2 이중 주의 투자(DAD)는 픽셀 수준의 의미 분할 작업을 위한 합성 샘플의 품질을 어떻게 향상시키는가?
• RQ3 지표 없는 애너테이션 조건에서 타겟 도메인의 패치 수준 피드백 레이블이 얼마나 신뢰할 수 있는 자기지도 학습 신호로 기능하는가?
• RQ4 제안된 소스 프리 프레임워크는 도메인 간 의미 분할에서 소스 기반 UDA 방법과 경쟁 가능한 성능을 달성하는가?
• RQ5 초수기수 α와 β는 재구성 정확도와 특징 수준의 투자 간 균형을 어떻게 조절하는가?

주요 결과

• GTA5 → Cityscapes에서 SFDA는 평균 IoU 48.33%를 기록하여 원천 전용 기반선(45.87%)을 초월하고, 소스 프리 조건에서 최신의 소스 기반 UDA 방법과 동등한 성능을 달성한다.
• 도시 간 적응(Cityscapes → Rio)에서 SFDA는 49.03% mIoU를 기록하여 동일한 설정에서 최고의 소스 기반 기반선(48.74%)을 능가한다.
• 절단 실험 결과, DAD와 BNS 손실을 함께 사용할 경우 GTA5 → Cityscapes에서 BNS 손실만 사용하는 것보다 성능이 최대 8.5% 향상됨을 확인하였다.
• IPSM 모듈은 성능 향상에 기여하며, 이를 제거하면 다양한 데이터셋에서 mIoU가 1.5–2.0% 감소함을 확인하여, 신뢰할 수 있는 타겟 피드백 레이블을 효과적으로 활용하는 데의 가치를 입증한다.
• 초수기수 분석 결과, α ≈ 1.0과 β ≈ 0.5가 재구성 정확도와 투자 간 균형을 최적화하는 데 유리하며, 가중치가 너무 높거나 너무 낮을 경우 성능 저하가 발생함을 확인하였다.
• 시각화 결과, DAD로 생성된 샘플은 의미적 구조와 맥락을 유지하는 반면, BNS 손실은 원천 도메인의 분포에 대한 정확도를 보장함을 확인하였다.