[논문 리뷰] Cycle-consistent Conditional Adversarial Transfer Networks

Jingjing Li, Erpeng Chen외 4명|arXiv (Cornell University)|2019. 09. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 4

한 줄 요약

이 논문은 도메인 간 불변 특징를 신뢰성 있게 번역할 수 있도록 두 개의 특징 번역기와 사이클 일관성 손실을 도입한 순환 일관성 있는 조건부 생성 대비 전이 네트워크인 3CATN을 제안한다. 잘못된 분류기 예측으로 인한 조건부 대비 학습의 불안정성 문제를 해결함으로써, 고전적 및 대규모 벤치마크에서 기존 방법을 크게 앞서는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Domain adaptation investigates the problem of cross-domain knowledge transfer where the labeled source domain and unlabeled target domain have distinctive data distributions. Recently, adversarial training have been successfully applied to domain adaptation and achieved state-of-the-art performance. However, there is still a fatal weakness existing in current adversarial models which is raised from the equilibrium challenge of adversarial training. Specifically, although most of existing methods are able to confuse the domain discriminator, they cannot guarantee that the source domain and target domain are sufficiently similar. In this paper, we propose a novel approach named {\it cycle-consistent conditional adversarial transfer networks} (3CATN) to handle this issue. Our approach takes care of the domain alignment by leveraging adversarial training. Specifically, we condition the adversarial networks with the cross-covariance of learned features and classifier predictions to capture the multimodal structures of data distributions. However, since the classifier predictions are not certainty information, a strong condition with the predictions is risky when the predictions are not accurate. We, therefore, further propose that the truly domain-invariant features should be able to be translated from one domain to the other. To this end, we introduce two feature translation losses and one cycle-consistent loss into the conditional adversarial domain adaptation networks. Extensive experiments on both classical and large-scale datasets verify that our model is able to outperform previous state-of-the-arts with significant improvements.

연구 동기 및 목표

• 오차가 발생한 분류기 예측으로 인한 조건부 대비 도메인 적응의 불안정성 문제를 해결하기 위해.
• 실제로 도메인 간 불변 특징가 원천 도메인과 목표 도메인 간에 신뢰성 있게 번역될 수 있도록 보장하기 위해.
• 사이클 일관성 특징 번역 제약 조건을 통합하여 도메인 정렬을 향상시키기 위해.
• 기존 최신 기술 수준의 방법을 초월하여 대비 도메인 적응의 강건성과 성능을 향상시키기 위해.
• 오류 전파를 줄이기 위해 특징 번역기와 사이클 일관성 손실의 효과를 검증하기 위해.

제안 방법

• 학습된 특징와 분류기 예측에 조건이 부여된 도메인 구분자로 다중 모odal 데이터 구조를 포착하는 조건부 대비 학습을 적용한다.
• 원천 도메인에서 목표 도메인으로, 그리고 그 반대로의 특징를 번역할 수 있도록 두 개의 별도 특징 번역기를 도입한다.
• 원천 도메인에서 목표 도메인으로 특징를 번역하고 다시 원래 특징로 복원하는 것을 통해 일관성을 확보하기 위해 사이클 일관성 손실을 적용한다.
• 분류 손실, 조건부 대비 손실, 특징 번역 손실, 사이클 일관성 손실을 조합하여 엔드 투 엔드로 모델을 훈련한다.
• λ=1, β=1, η₁=0.01, η₂=0.1 등의 하이퍼파rameter를 사용하며, 민감도 분석을 통해 파rameter 변화에 대한 안정성을 확인하였다.
• Office-Home, DomainNet, VisDA-2017 등 여러 도메인 적응 벤치마크에서 프레임워크를 평가하였다.

실험 결과

연구 질문

• RQ1 도메인 간 특징 번역이 도메인 적응에서 조건부 대비 학습의 신뢰성 향상에 기여하는가?
• RQ2 특징 번역에 사이클 일관성 제약 조건을 적용하면 더 안정적이고 정확한 도메인 간 불변 표현이 도출되는가?
• RQ3 제안된 방법은 조건부 도메인 적응에서 잘못된 분류기 예측으로 인한 성능 저하를 어떻게 완화하는가?
• RQ4 특징 번역기와 사이클 일관성 손실은 기존 최신 기술 수준의 방법에 비해 성능 향상에 얼마나 기여하는가?
• RQ5 실세계 도메인 적응 시나리오에서 제안된 3CATN 프레임워크는 하이퍼파rameter 변화에 대해 강건한가?

주요 결과

• D→A 및 W→A 벤치마크에서 3CATN은 각각 73.1%와 71.5%의 정확도를 달성하여 이전 최신 기술 수준의 방법인 CDAN을 크게 앞서며 성능을 높였다.
• 제거 실험 결과, 특징 번역 손실을 추가함으로써 D→A에서 0.9% 향상되고 W→A에서 1.2% 향상됨을 확인하였다.
• 사이클 일관성 손실은 W→A에서 1.2%의 정확도 향상을 기여하여 특징 무결성을 유지하는 데 효과적임을 입증하였다.
• 정성적 분석에서 3CATN은 W→A에서 CDAN이 잘못 분류한 163개 샘플을 정확히 분류하였고, CDAN이 올바르게 분류한 모든 샘플에 대해서도 높은 성능를 유지하였다.
• 모델는 안정적인 훈련 행동을 보이며 10,000 반복 이내 수렴하였고, 특히 β 및 η₁, η₂에 대해 하이퍼파rameter 변화에 강건하였다.
• 조건부 전이 손실(S4)을 제거할 경우 D→A와 W→A에서 각각 67.5%와 66.9%로 성능 저하가 발생하여 조건부 감독의 필요성을 확인하였다.