[논문 리뷰] CyCADA: Cycle-Consistent Adversarial Domain Adaptation

Judy Hoffman, Eric Tzeng외 6명|arXiv (Cornell University)|2017. 11. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 630

한 줄 요약

CyCADA는 이미지의 픽셀 수준과 특징 수준의 적대적 도메인 적응을 순환 일관성 및 의미 일관성과 결합하여, 지도 학습 없이도 서로 다른 도메인 간 모델을 적응시키고, 디지털 인식 및 시맨틱 세그먼테이션에서 최첨단 결과를 달성합니다.

ABSTRACT

Domain adaptation is critical for success in new, unseen environments. Adversarial adaptation models applied in feature spaces discover domain invariant representations, but are difficult to visualize and sometimes fail to capture pixel-level and low-level domain shifts. Recent work has shown that generative adversarial networks combined with cycle-consistency constraints are surprisingly effective at mapping images between domains, even without the use of aligned image pairs. We propose a novel discriminatively-trained Cycle-Consistent Adversarial Domain Adaptation model. CyCADA adapts representations at both the pixel-level and feature-level, enforces cycle-consistency while leveraging a task loss, and does not require aligned pairs. Our model can be applied in a variety of visual recognition and prediction settings. We show new state-of-the-art results across multiple adaptation tasks, including digit classification and semantic segmentation of road scenes demonstrating transfer from synthetic to real world domains.

연구 동기 및 목표

• Synthetic/real 또는 서로 다른 시각 도메인 간의 도메인 차이를 심층 모델에서 동기 부여하고 해결한다.
• 도메인 번역 중 의미 콘텐츠를 보존하는 비지도 적응 프레임워크를 개발한다.
• 픽셀 공간과 특징 공간 적응을 순환 일관성 및 의미 손실과 함께 통합한다.
• 숫자 분류 및 도시 시맨틱 세그먼테이션 작업에서 최첨단 성능을 시연한다.
• 성과 향상과 함께 이미지 공간 적응의 해석 가능성 이점을 보여준다.

제안 방법

• G_S→T 및 G_T→S 생성자를 도입하고 적대적 판별기로 소스 도메인과 대상 도메인 간 매핑을 학습한다.
• 매핑이 가역적이고 콘텐츠를 보존하도록 순환 일관성 손실을 부여한다.
• 고정된 소스 작업 모델을 사용하여 번역 후 불변 라벨을 보장하는 의미 일관성 손실을 적용한다.
• 중간 표현을 정렬하기 위해 선택적으로 특징 공간 GAN 손실을 포함한다.
• 작업 손실, GAN 손실, 순환 손실 및 의미 손실을 결합하는 공동 CyCADA 목표를 최적화한다.
• G는 픽셀-투-픽셀 컨브net으로 구현하고 f와 D는 FCN/컨브넷으로 구현한다.

실험 결과

연구 질문

• RQ1 사이클-일관성 있는 적대 매핑이 도메인 간 번역 시 의미 콘텐츠를 보존하는가?
• RQ2 픽셀 및 특징의 다계층 적응이 단일 수준 방법보다 비지도 도메인 적응을 개선하는가?
• RQ3 순환 일관성과 의미 일관성이 도메인 이동에서 숫자 인식 및 시맨틱 세그먼테이션의 성능에 어떤 영향을 미치는가?
• RQ4 피처 공간 적응 외에 이미지 공간(픽셀) 적응이 해석 가능성과 성능에 어떤 영향을 미치는가?
• RQ5 CyCADA가 소스 학습과 대상 학습 간 성능 차이를Synthetic→Real 시나리오에서 어느 정도 좁힐 수 있는가?

주요 결과

• CyCADA는 USPS, MNIST, SVHN 이동에서 숫자 적응에 대해 최첨단 결과를 달성한다.
• 픽셀 공간 적응만으로도 작은 도메인 이동에서 강력한 성능을 보이며, 큰 이동에서는 추가적인 특징 공간 적응이 추가 이득을 제공한다.
• 시맨틱 세그먼테이션에서 CyCADA는 합성→실제 과제 및 교차 계절 적응에서 최첨단 성능에 도달하며 여러 지표에서 대상 감독 올림픽 수준에 근접한다.
• 숫자 분류 작업에서 픽셀 공간과 특징 공간의 공동 적응이 최상의 전체 성능을 낳는다.
• 이미지 공간 적응은 해석 가능한 시각적 변환(예: SYNTHIA의 가을에서 겨울 변환)으로 세그먼테이션 성능 향상과 상관관계가 있다.