[논문 리뷰] Multi-source Domain Adaptation for Semantic Segmentation

Sicheng Zhao, Bo Li외 6명|arXiv (Cornell University)|2019. 10. 27.

Domain Adaptation and Few-Shot Learning인용 수 80

한 줄 요약

MADAN은 픽셀 수준 적응, 다수의 적응 소스의 도메인 집계, 그리고 대상 도메인에 대한 특징 수준 정렬을 공동으로 수행하는 다중 소스 무감독 도메인 적응 프레임워크를 시맨틱 분할에 도입하여 GTA/SYNTHIA에서 Cityscapes/BDDS 벤치마크로의 최첨단 성능을 달성한다.

ABSTRACT

Simulation-to-real domain adaptation for semantic segmentation has been actively studied for various applications such as autonomous driving. Existing methods mainly focus on a single-source setting, which cannot easily handle a more practical scenario of multiple sources with different distributions. In this paper, we propose to investigate multi-source domain adaptation for semantic segmentation. Specifically, we design a novel framework, termed Multi-source Adversarial Domain Aggregation Network (MADAN), which can be trained in an end-to-end manner. First, we generate an adapted domain for each source with dynamic semantic consistency while aligning at the pixel-level cycle-consistently towards the target. Second, we propose sub-domain aggregation discriminator and cross-domain cycle discriminator to make different adapted domains more closely aggregated. Finally, feature-level alignment is performed between the aggregated domain and target domain while training the segmentation network. Extensive experiments from synthetic GTA and SYNTHIA to real Cityscapes and BDDS datasets demonstrate that the proposed MADAN model outperforms state-of-the-art approaches. Our source code is released at: https://github.com/Luodian/MADAN.

연구 동기 및 목표

• 현실적인 다중 소스 도메인 시프트(다양한 분포를 가진 다수의 라벨이 있는 소스들) 하에서 시맨틱 세분화를 동기화한다.
• 픽셀 수준의 적응과 시맨틱 및 사이클-일관성 제약을 결합한 엔드-투-엔드 프레임워크를 개발한다.
• 다수의 적응 도메인을 단일 도메인으로 통합하여 타깃 도메인 성능을 향상한다.
• 통합 소스 도메인과 실제 타깃 도메인 간의 특징 수준 정렬을 통해 분할 성능을 향상한다.

제안 방법

• 각 소스 S_i에 대해 타깃 도메인 T로 매핑을 학습하여 적응 이미지 G_{S_i→T}를 생성하고 순환 일관성 손실과 함께 역 매핑 G_{T→S_i}를 생성한다.
• 적응 도메인 예측을 동적으로 업데이트되는 분할 모델과 정렬하여 의미를 보존하는 동적 시맨틱 일관성(DSC)을 도입한다.
• 다중 적응 도메인을 하나의 도메인으로 집계하기 위해 Sub-domain Aggregation Discriminator (SAD)와 Cross-domain Cycle Discriminator (CCD)를 사용한다.
• 집계 도메인 X'에서 분류 모델 F를 교차 엔트로피 손실로 학습하고 타깃 도메인 특성에서 판별기 D_F와의 특징 수준 정렬을 수행한다.
• 최적화는 픽셀 수준 GAN 손실, 사이클-일관성 손실, DSC 손실, SAD/CCD 손실, 특징 수준 정렬 손실을 MADAN 목적 함수로 통합한다.
• 3단계 학습(초기 픽셀 수준 적응, 집계와 함께하는 DSC, 최종 특징 정렬 분할)으로 구성하고 이를 반복적으로 정제한다.

실험 결과

연구 질문

• RQ1 여러 소스 도메인을 효과적으로 집계하여 시맨틱 세그먼테이션의 무감독 도메인 적응을 향상시킬 수 있는가?
• RQ2 픽셀 수준 적응을 시맨틱 일관성과 도메인 집계로 보완하면 전통적인 단일 소스 또는 수 naive 다중 소스 접근보다 타깃 도메인 성능이 나아지는가?
• RQ3 SAD와 CCD 판별기를 DSC와 결합할 때 GTA/SYNTHIA에서 Cityscapes/BDDS 작업에서 세분화 정확도에 어떤 영향을 미치는가?
• RQ4 픽셀 수준 및 도메인 집계 적응 위에 특징 수준 정렬을 적용하면 기여도가 얼마나 되는가?

주요 결과

• MADAN은 GTA 및 SYNTHIA에서 Cityscapes 및 BDDS로의 최첨단 성능을 능가하며 다중 소스 집계에서 강한 이득을 보인다.
• DSC 손실은 원래의 SC 손실보다 시맨틱 보존을 더 잘 수행하여 픽셀 수준 적응 도중 의미 보존이 향상되었음을 나타낸다.
• SAD와 CCD 모두 성능을 향상시키며, SAD가 여러 지표에서 더 일관된 이득을 제공한다.
• 특징 수준 정렬을 추가하면 성능이 더욱 향상되며, 구성 요소들은 대개 직교적이며 덧셈적 개선을 제공한다.
• 경험적 애블레이션은 픽셀 수준 번역, 시맨틱 가이드, 도메인 집계, 특징 정렬의 조합 효과를 입증한다.