[논문 리뷰] MADAN: Multi-source Adversarial Domain Aggregation Network for Domain Adaptation

Sicheng Zhao, Bo Li외 3명|arXiv (Cornell University)|2020. 02. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 87인용 수 4

한 줄 요약

이 논문은 다중 소스 적대적 도메인 적응 프레임워크인 MADAN을 제안한다. 이는 동적 의미 일관성과 픽셀 수준의 사이클 일관성 이미지 변환을 사용하여 다수의 소스 도메인을 타겟 도메인에 정렬한다. 하위 도메인 집합 및 교차 도메인 사이클 판별자를 도입하여 적응된 소스들을 통합함으로써 이미지 분류 및 세분화 작업에서 성능을 크게 향상시켰으며, Cityscapes, Office-31, Digits-five를 포함한 여러 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Domain adaptation aims to learn a transferable model to bridge the domain shift between one labeled source domain and another sparsely labeled or unlabeled target domain. Since the labeled data may be collected from multiple sources, multi-source domain adaptation (MDA) has attracted increasing attention. Recent MDA methods do not consider the pixel-level alignment between sources and target or the misalignment across different sources. In this paper, we propose a novel MDA framework to address these challenges. Specifically, we design an end-to-end Multi-source Adversarial Domain Aggregation Network (MADAN). First, an adapted domain is generated for each source with dynamic semantic consistency while aligning towards the target at the pixel-level cycle-consistently. Second, sub-domain aggregation discriminator and cross-domain cycle discriminator are proposed to make different adapted domains more closely aggregated. Finally, feature-level alignment is performed between the aggregated domain and the target domain while training the task network. For the segmentation adaptation, we further enforce category-level alignment and incorporate context-aware generation, which constitutes MADAN+. We conduct extensive MDA experiments on digit recognition, object classification, and simulation-to-real semantic segmentation. The results demonstrate that the proposed MADAN and MANDA+ models outperform state-of-the-art approaches by a large margin.

연구 동기 및 목표

• 기존의 다중 소스 도메인 적응(MDA) 방법이 픽셀 수준에서 소스를 정렬하지 못하고 서로 다른 소스 간의 비일치를 忽시하는 한계를 해결한다.
• 여러 개의 레이블이 부여된 소스 도메인과 하나의 레이블이 없는 타겟 도메인을 가진 환경에서 도메인 적응 성능을 향상시키며, 특히 세분화와 같은 세분화 작업에 특화된다.
• 타겟 레이블이 필요 없이도 다수의 적응된 소스 도메인을 공통의 타겟 정렬 분포로 효과적으로 집계할 수 있는 통합 프레임워크를 개발한다.
• 카테고리 수준의 정렬과 맥락 인식 이미지 생성을 통합하여 픽셀 수준 예측 작업에 확장함으로써 MADAN+를 도입한다.
• 적응 전후의 주의 맵과 픽셀 수준 정렬을 시각화하여 모델의 해석 가능성 향상을 입증한다.

제안 방법

• 각 소스 도메인에서 타겟 도메인에 픽셀 수준에서 정렬되는 적응 이미지를 생성하기 위해 사이클 일관성 GAN과 동적 의미 일관성 손실을 사용한다.
• 다양한 소스에서 온 적응 도메인들이 공통의 통합 분포로 수렴하도록 하위 도메인 집합 판별자를 도입한다.
• 다른 소스-타겟 쌍 간의 사이클 일관성을 강제로 유지하기 위해 교차 도메인 사이클 판별자를 구현하여 소스 간 비일치를 줄인다.
• 작업 네트워크 학습 중에 집계된 적응 도메인과 타겟 도메인 간의 특징 수준 정렬을 수행하여 일반화 성능을 향상시킨다.
• 세분화 작업을 위해 카테고리 수준 정렬과 맥락 인식 이미지 생성을 통합하여 적응된 이미지의 공간적 및 의미적 구조를 유지한다.
• 적대적 손실, 사이클 일관성 손실, 작업에 특화된 분류 또는 세분화 손실을 사용하여 전체 프레임워크를 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 다른 분포를 가진 다수의 소스 도메인을 상호 간 비일치를 최소화하면서 공통의 타겟 도메인에 효과적으로 정렬할 수 있는 방법은 무엇인가?
• RQ2 사이클 일관성과 동적 의미 일관성으로 픽셀 수준의 이미지 변환을 수행할 경우, 특징 수준 정렬만을 사용하는 것보다 도메인 적응 성능이 향상되는가?
• RQ3 적대적 판별자를 통한 도메인 집합이 다중 소스 도메인 적응에서 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 방법은 세분화와 같은 구조적 예측 작업에 효과적으로 확장될 수 있으며, 이는 기존 방법과 비교해 어떻게 성능을 냅니다?
• RQ5 제안된 방법은 주의 시각화와 픽셀 수준 정렬을 통해 모델의 해석 가능성 향상을 이루는가?

주요 결과

• Digits-five, Office-31, Office+Caltech-10, Office-Home 데이터셋에서 각각 기존 MDA 방법 중 최고 성능보다 2.8%, 3.0%, 2.2%, 4.6%의 정확도 향상을 달성한다.
• GTA와 SYNTHIA를 소스로 사용한 Cityscapes에서의 세분화 작업에서, MADAN+는 소스 전용 기준으로 17.0% mIoU 향상, 최고 단일 소스 DA 기준으로 3.0%, 소스 조합 DA 기준으로 5.5%, 다른 MDA 방법 기준으로 13.4% 향상했다.
• BDDS 데이터셋에서 MADAN+는 소스 전용 기준으로 17.0%, 최고 단일 소스 DA 기준으로 5.9%, 소스 조합 DA 기준으로 7.9%, 다른 MDA 방법 기준으로 16.6% mIoU 향상했다.
• 시각화 결과, MADAN에서 적응된 이미지의 스타일이 타겟 도메인에 더 가까워졌고 의미적 콘텐츠는 유지된 것으로 나타나 효과적인 픽셀 수준 정렬을 입증했다.
• Grad-CAM 주의 맵은 적응된 모델이 더 많은 주의를 분류에 기여하고 이동 가능한 영역(예: 관심 객체)에 집중하며 배경이나 비정보성 영역에 대한 주의를 줄임을 보여준다.
• 절단 실험 결과, 하위 도메인 집합과 교차 도메인 사이클 판별자가 성능 향상에 필수적임을 확인했으며, 특히 도메인 이동과 소스 간 비일치를 줄이는 데 기여한다.