[논문 리뷰] Multi-Source Domain Adaptation with Collaborative Learning for Semantic Segmentation

Jianzhong He, Xu Jia외 2명|arXiv (Cornell University)|2021. 03. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 11

한 줄 요약

이 논문은 도메인 간 차이를 줄이기 위해 협업 학습과 간단한 이미지 변환을 사용하는 다중 소스 도메인 적응 프레임워크를 제안한다. LAB 색상 공간에서 소스 도메인 이미지를 타겟 도메인 스타일에 맞추고, 가짜 레이블을 활용한 다중 도메인 협업 학습을 통해, GTA5와 Synscapes를 소스로 사용할 때 Cityscapes에서 59.0% mIoU를 달성하여 이전의 단일 및 다중 소스 비지도 도메인 적응 방법을 모두 능가한다.

ABSTRACT

Multi-source unsupervised domain adaptation~(MSDA) aims at adapting models trained on multiple labeled source domains to an unlabeled target domain. In this paper, we propose a novel multi-source domain adaptation framework based on collaborative learning for semantic segmentation. Firstly, a simple image translation method is introduced to align the pixel value distribution to reduce the gap between source domains and target domain to some extent. Then, to fully exploit the essential semantic information across source domains, we propose a collaborative learning method for domain adaptation without seeing any data from target domain. In addition, similar to the setting of unsupervised domain adaptation, unlabeled target domain data is leveraged to further improve the performance of domain adaptation. This is achieved by additionally constraining the outputs of multiple adaptation models with pseudo labels online generated by an ensembled model. Extensive experiments and ablation studies are conducted on the widely-used domain adaptation benchmark datasets in semantic segmentation. Our proposed method achieves 59.0\% mIoU on the validation set of Cityscapes by training on the labeled Synscapes and GTA5 datasets and unlabeled training set of Cityscapes. It significantly outperforms all previous state-of-the-arts single-source and multi-source unsupervised domain adaptation methods.

연구 동기 및 목표

• 합성 소스 도메인(예: GTA5, Synscapes)과 실제 타겟 도메인(예: Cityscapes) 간의 도메인 간 차이 문제를 해결하기 위해.
• 단일 소스에 의존하는 것 대신, 여러 레이블이 붙은 소스 도메인을 활용하여 모델의 일반화 능력을 향상시키기 위해.
• 복잡한 적대적 훈련 없이도 도메인 불변의 의미적 맥락과 레이블이 없는 타겟 데이터를 효과적으로 활용하는 방법을 개발하기 위해.
• semantic segmentation에서 다중 소스 비지도 도메인 적응 분야에서 최고의 성능을 달성하기 위해.

제안 방법

• 소스 도메인과 타겟 도메인 간 픽셀 분포를 맞추기 위해, 소스 이미지를 LAB 색상 공간에서 타겟 도메인 스타일로 변환하는 단순한 이미지 변환 방법을 사용한다.
• 각 모델이 다른 소스 도메인에서 훈련된 다른 모델들로부터 소프트 지도를 받는 방식으로, 레이블이 붙은 소스 도메인 간에 협업 학습을 적용한다.
• 타겟 도메인 적응을 위해, 소스 모델의 앙상블이 온라인으로 가짜 레이블을 생성하고, 이를 여러 적응 헤드의 출력을 함께 제약하기 위해 사용한다.
• 도메인 정렬과 의미적 일관성을 최적화하기 위해, 엔드 투 엔드 및 단계별 훈련 전략을 모두 사용한다.
• 적대적 훈련과 복잡한 구성 요소(예: 커리큘럼 학습)를 피하고, 효율적인 미분 가능한 색상 공간 변환과 모델 정련에 의존한다.

실험 결과

연구 질문

• RQ1 LAB 색상 공간에서의 단순한 이미지 변환 방법이 합성 이미지와 실제 세계 이미지 간의 도메인 간 차이를 효과적으로 줄일 수 있는가?
• RQ2 타겟 도메인 데이터에 접근하지 않고도, 여러 레이블이 붙은 소스 도메인 간 협업 학습이 일반화 능력을 어떻게 향상시키는가?
• RQ3 가짜 레이블이 붙은 타겟 데이터를 함께 최적화함으로써 얼마나 더 높은 적응 성능을 달성할 수 있는가?
• RQ4 제안된 방법이 기존의 단일 소스 및 다중 소스 도메인 적응 접근법보다 semantic segmentation에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• GTA5와 Synscapes를 소스로 사용할 때, Cityscapes 검증 세트에서 59.0% mIoU를 달성하여 이전의 모든 최고 성능 방법을 크게 능가한다.
• 세 소스(GTA5, Synscapes, SYNTHIA)에서의 적응은 16개 카테고리에서 62.24% mIoU를 기록하여 최고의 단일 소스 기반 베이스라인 대비 13% 향상되었다.
• 소스 도메인 간 협업 학습 구성 요소가 타겟 도메인에만 적응하는 것보다 더 큰 성능 향상을 이끌어내었으며, 소스 전용 협업 설정에서 54.03% mIoU를 달성했다.
• 트럭, 버스, 기차와 같은 강체 물체에서 뛰어난 성능을 기록하여 형태와 공간적 레이아웃 불변성을 효과적으로 학습했다는 것을 시사한다.
• 적대적 훈련, 자기 훈련, 커리큘럼 학습을 사용하지 않고도 최고 성능을 달성하였으며, 효율적인 색상 공간 변환과 모델 정련에 의존한다.