[논문 리뷰] Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain Adaptive Semantic Segmentation

Rui Gong, Yuhua Chen외 6명|arXiv (Cornell University)|2020. 12. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 3

한 줄 요약

이 논문은 MOCDA를 제안하며, 스타일 기반 클러스터링을 통해 타겟 이미지를 서브도메인으로 분할하고, 도메인 특화 브랜치로 분할하여 하이퍼넷을 통한 동적 예측 융합을 수행하며, MAML 기반으로 온라인 모델 업데이트를 가능하게 하는 메타러닝 프레임워크이다. 이는 합성-실제 벤치마크에서 최고 성능을 기록하며, 복합 도메인에서 31.4%의 mIoU와 개방 도메인에서 31.2%의 mIoU를 달성한다.

ABSTRACT

Open compound domain adaptation (OCDA) is a domain adaptation setting, where target domain is modeled as a compound of multiple unknown homogeneous domains, which brings the advantage of improved generalization to unseen domains. In this work, we propose a principled meta-learning based approach to OCDA for semantic segmentation, MOCDA, by modeling the unlabeled target domain continuously. Our approach consists of four key steps. First, we cluster target domain into multiple sub-target domains by image styles, extracted in an unsupervised manner. Then, different sub-target domains are split into independent branches, for which batch normalization parameters are learnt to treat them independently. A meta-learner is thereafter deployed to learn to fuse sub-target domain-specific predictions, conditioned upon the style code. Meanwhile, we learn to online update the model by model-agnostic meta-learning (MAML) algorithm, thus to further improve generalization. We validate the benefits of our approach by extensive experiments on synthetic-to-real knowledge transfer benchmark datasets, where we achieve the state-of-the-art performance in both compound and open domains.

연구 동기 및 목표

• 타겟 도메인이 알려지지 않은 다양한 서브도메인의 혼합으로 이루어진 개방형 복합 도메인에서의 세분화 일반화 문제를 해결한다.
• 기존 도메인 적응 방법이 단일 고정 타겟 도메인을 가정하고, 예측 불가능한 도메인으로의 일반화 능력이 부족한 점을 보완한다.
• 비지도 스타일 클러스터링과 도메인 특화 배치 정규화를 활용해 복합 타겟 도메인을 연속적인 모델링 방식으로 구현한다.
• 메타학습을 통한 모델 업데이트를 통해 추론 중 온라인 적응을 가능하게 하여, 개방형, 예측 불가능한 도메인으로의 일반화를 향상시킨다.
• 세분화 작업에서 복합 도메인 및 개방 도메인 적응 설정 모두에서 최고 성능을 달성한다.

제안 방법

• 백본 네트워크에서 추출한 비지도 이미지 스타일 특징을 활용해, 레이블이 없는 타겟 도메인을 여러 서브타겟 도메인으로 클러스터링한다.
• 각 클러스터에 대응하는 독립적인 브랜치로 네트워크를 분할하여, 서브도메인 특성을 모델링하기 위해 도메인 특화 배치 정규화(BN) 통계치를 학습시킨다.
• 입력 이미지의 스타일 코드에 조건부로 동작하는 하이퍼넷을 사용해 다양한 서브도메인 브랜치의 예측을 동적으로 융합한다.
• 모델 무관 메타학습(MAML)을 사용해 융합 및 업데이트 모듈을 훈련시켜, 추론 시 한 번의 기울기 계산으로 빠른 적응을 가능하게 한다.
• 융합 모듈의 강건성과 일반화 능력을 향상시키기 위해 훈련 중 비지도 엔트로피 손실을 통합한다.
• MAML 기반 메타 최적화를 통해 추론 중에 온라인 모델 업데이트를 가능하게 하여, 최소한의 데이터로 예측 불가능한 도메인에의 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 메타러닝을 효과적으로 활용하여 세분화 작업에서 복합 타겟 도메인을 서브도메인의 연속적인 다변량(manifold)으로 모델링할 수 있는가?
• RQ2 서브도메인 예측의 동적, 스타일 조건부 융합 전략이 고정되거나 비적응형 융합 전략보다 성능 향상에 기여하는가?
• RQ3 MAML 기반 온라인 모델 업데이트가 세분화 작업에서 예측 불가능한 개방형 도메인으로의 일반화 능력을 어느 정도 향상시키는가?
• RQ4 비지도 스타일 클러스터링이 다양한 타겟 도메인 이미지를 의미 있는 균일한 서브도메인으로 효과적으로 그룹화할 수 있는가?
• RQ5 클러스터링, 분할, 융합, 온라인 업데이트 모듈의 조합이 개방형 복합 도메인 적응에서 최고 성능을 달성하는가?

주요 결과

• MOCDA는 복합 도메인(SYNTHIA-SF → BDD100K)에서 31.4%의 mIoU를 기록하며, 이전 최고 성능인 AdaptSegNet보다 2.3% 높다.
• 개방 도메인(KITTI, WildDash, Cityscapes)에서 MOCDA는 31.2%의 mIoU를 달성했으며, 온라인 업데이트 기능이 없는 모델 대비 1.1% 향상되었다.
• 하이퍼넷 기반 적응형 융합 전략은 27.7%의 mIoU를 기록하며, 비적응형 기준선(23.1–26.6%)을 최대 4.6% 초월한다.
• 융합 모듈에 비지도 엔트로피 손실을 추가하면 성능이 27.1%에서 27.3%로 향상되어, 강건성 향상에 기여함을 입증한다.
• 온라인 업데이트 메커니즘은 Cityscapes에서 +2.3% mIoU, WildDash에서 +1.3% mIoU 기여를 확인하여, 개방형 도메인 일반화에서의 효과성을 입증한다.
• 정성적 결과는 MOCDA가 다양한 기상 조건과 예측 불가능한 도메인에서 더 정확하고 일관된 세분화 마스크를 생성함을 보여준다.