[논문 리뷰] Multi-Target Domain Adaptation with Collaborative Consistency Learning

Takashi Isobe, Xu Jia외 6명|arXiv (Cornell University)|2021. 06. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 13

한 줄 요약

이 논문은 영상 분할에서 다중 타겟 도메인 적응을 위한 협업 일致성 학습 프레임워크를 제안한다. 여기서 다수의 도메인 전용 전문 모델이 상호 도메인 일치 정규화를 통해 훈련되고, 하나의 학생 모델에 공동으로 지식을 정제한다. 이 방법은 GTA5에서 Cityscapes, IDD 및 Mapillary 벤치마크에서 다수의 타겟 도메인에서 최신 기술 수준의 성능을 달성하며, 개별 도메인 적응 모델과 이전의 다중 타겟 적응 접근법보다 뛰어나다.

ABSTRACT

Recently unsupervised domain adaptation for the semantic segmentation task has become more and more popular due to high-cost of pixel-level annotation on real-world images. However, most domain adaptation methods are only restricted to single-source-single-target pair, and can not be directly extended to multiple target domains. In this work, we propose a collaborative learning framework to achieve unsupervised multi-target domain adaptation. An unsupervised domain adaptation expert model is first trained for each source-target pair and is further encouraged to collaborate with each other through a bridge built between different target domains. These expert models are further improved by adding the regularization of making the consistent pixel-wise prediction for each sample with the same structured context. To obtain a single model that works across multiple target domains, we propose to simultaneously learn a student model which is trained to not only imitate the output of each expert on the corresponding target domain, but also to pull different expert close to each other with regularization on their weights. Extensive experiments demonstrate that the proposed method can effectively exploit rich structured information contained in both labeled source domain and multiple unlabeled target domains. Not only does it perform well across multiple target domains but also performs favorably against state-of-the-art unsupervised domain adaptation methods specially trained on a single source-target pair

연구 동기 및 목표

• 단일 모델이 여러 레이블이 없는 타겟 도메인으로 일반화할 수 있도록 하는 비지도 다중 타겟 도메인 적응(MTDA) 문제를 해결하기 위해.
• 단일 소스-단일 타겟 도메인 적응의 한계를 극복하기 위해, 이를 다수의 타겟 도메인으로 직접 확장할 수 없는 문제를 해결하기 위해.
• 협업 일치성 학습을 통해 도메인 전용 전문 모델 간의 지식 공유를 가능하게 하여 일반화 능력과 성능을 향상시키기 위해.
• 다수의 전문 모델로부터 온라인 지식 정제를 통해 타겟 도메인 전반에서 잘 작동하는 단일 강력한 학생 모델을 개발하기 위해.
• 소스-타겟 쌍 간 및 타겟 도메인 간의 상호 연결성을 통해 전이 가능성과 모델의 강건성을 향상시키는 데서 유의미한 이점을 도출하기 위해.

제안 방법

• 각 타겟 도메인에 대해, 적대적 도메인 적응과 동일한 콘텐츠를 다른 도메인 스타일에서 예측하는 데 일치하는 손실을 사용하여 도메인 전용 전문 모델을 훈련한다.
• 소스 및 타겟 이미지를 각 타겟 도메인의 스타일로 변환할 수 있는 스타일 변환 브리지(bridge)를 구축하여, 서로 다른 타겟 도메인 간의 상호 도메인 일치성 학습을 가능하게 한다.
• 협업 일치성 학습은 동일한 의미적 콘텐츠이지만 다른 도메인 스타일을 가진 이미지에 대해 전문 모델 간에 일致한 픽셀 단위 예측을 강제함으로써 전문 모델 간의 일치를 보장한다.
• 모든 전문 모델의 출력을 모방하도록 온라인 지식 정제를 통해 학생 모델을 훈련하며, 동시에 전문 모델의 가중치와 일치하도록 정규화한다.
• 학생 모델이 훈련 도중 전문 모델과 유사성을 유지하도록 유도하기 위해 가중치 정규화 손실을 도입하여 일반화 능력을 향상시킨다.
• 프레임워크는 엔드 투 엔드로 훈련되어, 학생 모델이 개별 전문 모델의 전문 지식과 상호 도메인 일치를 통해 학습된 공통 불변성의 이점을 모두 얻을 수 있다.

실험 결과

연구 질문

• RQ1 각 도메인에 맞는 미세조정 없이도, 단일 모델이 여러 레이블이 없는 타겟 도메인에서 효과적으로 일반화할 수 있는가?
• RQ2 다수의 도메인 전용 전문 모델에서 유래한 지식을 어떻게 효과적으로 통합하여 모든 타겟 도메인에서 동시에 성능을 향상시킬 수 있는가?
• RQ3 스타일 브리지(bridge)를 통해 다른 도메인 스타일 간의 예측 일치성을 강제하면 기존의 도메인 적응보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 다수의 전문 모델로부터 온라인 지식 정제를 통해 단일 학생 모델의 성능을 개별 타겟 도메인 모델을 훈련시키는 것보다 향상시킬 수 있는가?
• RQ5 상호 도메인 일치성 포함 협업 학습이 단순 앙상블 또는 통합 훈련 전략에 비해 얼마나 더 뛰어난 성능을 내는가?

주요 결과

• GTA5에서 출발하여 Cityscapes에 적응할 경우, 제안된 방법은 46.7% mIoU를 달성하며, 개별 STDA 기준선(43.3% mIoU)을 초월한다.
• IDD에 대해선 47.0% mIoU를 기록하며, 기준선(43.6% mIoU)을 뛰어넘는다.
• Mapillary에 대해선 49.9% mIoU를 기록하며, 기준선(45.8% mIoU)을 상회한다.
• 실세계-실세계 MTDA 설정에서, Cityscapes를 소스로 사용할 경우 Mapillary에서 58.5% mIoU를 달성하며, 기준선 및 이전 방법들을 능가한다.
• 제거 분석 결과, 온라인 지식 정제와 가중치 정규화를 조합하면 Cityscapes에서 기준선 대비 1.7% 향상되고, IDD에선 1.8% 향상된다.
• 협업 일치성 학습 구성 요소만으로도 기준선 대비 Cityscapes에서 1.0% 향상되고, IDD에선 1.3% 향상된다.
• 모든 타겟 도메인에서 개별 전문 모델 및 이전의 MTDA 방법보다 끊임없이 뛰어난 성능을 보이며, 뛰어난 일반화 능력과 강건성을 입증한다.
• 합성-실세계 및 실세계-실세계 설정을 포함한 다중 타겟 적응 벤치마크에서 최신 기술 수준의 성능을 달성한다.