[논문 리뷰] Relaxed Conditional Image Transfer for Semi-supervised Domain Adaptation

Qijun Luo, Zhili Liu외 8명|arXiv (Cornell University)|2021. 01. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 9인용 수 4

한 줄 요약

이 논문은 반응형 cGAN을 제안하며, 이는 반응형 조건부 GAN 프레임워크로서 반응형 도메인 적응을 위한 새로운 접근법이다. 이는 생성자 입력에서 클래스 레이블을 제거하여 레이블 지배 문제를 완화시키며, 생성자는 원시 이미지에서 의미적 특징을 추론하도록 강제한다. 이 방법은 저자원 및 고자원 설정 모두에서 DomainNet, Office-Home 및 여러 디지털 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Semi-supervised domain adaptation (SSDA), which aims to learn models in a partially labeled target domain with the assistance of the fully labeled source domain, attracts increasing attention in recent years. To explicitly leverage the labeled data in both domains, we naturally introduce a conditional GAN framework to transfer images without changing the semantics in SSDA. However, we identify a label-domination problem in such an approach. In fact, the generator tends to overlook the input source image and only memorizes prototypes of each class, which results in unsatisfactory adaptation performance. To this end, we propose a simple yet effective Relaxed conditional GAN (Relaxed cGAN) framework. Specifically, we feed the image without its label to our generator. In this way, the generator has to infer the semantic information of input data. We formally prove that its equilibrium is desirable and empirically validate its practical convergence and effectiveness in image transfer. Additionally, we propose several techniques to make use of unlabeled data in the target domain, enhancing the model in SSDA settings. We validate our method on the well-adopted datasets: Digits, DomainNet, and Office-Home. We achieve state-of-the-art performance on DomainNet, Office-Home and most digit benchmarks in low-resource and high-resource settings.

연구 동기 및 목표

• 조건부 GAN 기반의 이미지 전달에서 반응형 도메인 적응에 있어 생성자가 클래스 프로토타입을 기억하는 대신 소스 이미지 특징을 사용하도록 하는 레이블 지배 문제를 해결하기 위해.
• 생성자를 레이블이 아닌 입력 이미지로만 훈련시켜 이미지 전달 품질과 의미적 일관성을 향상시키고, 디스criminator는 클래스 조건부 일치를 강제함으로써.
• 무료 타겟 데이터를 통해 근사 분포와 가짜 레이블 손실을 활용하여 저자원 설정에서 모델 일반화 능력을 향상시키기 위해.
• 제안된 반응형 cGAN 프레임워크의 평형 상태에 대한 이론적 근거를 제공하여 안정적인 훈련과 수렴을 보장하기 위해.

제안 방법

• 생성자는 클래스 레이블 없이 소스 이미지만 입력으로 받아, 이미지 콘텐츠에서 직접 의미적 특징을 학습하도록 강제한다.
• 디스criminator는 생성된 이미지와 그 진짜 레이블을 모두 수신하여, 클래스 조건부 방식으로 진짜와 가짜 이미지-레이블 쌍을 구분할 수 있도록 한다.
• 조건부 GAN 손실을 사용하지만 조건이 느슨한 방식으로, 생성자는 레이블에 조건되지 않아 레이블 지배를 감소시킨다.
• 생성된 이미지의 근사 분포를 진짜 타겟 이미지의 근사 분포와 일치시키기 위해 근사 손실을 도입하여 도메인 일치를 향상시킨다.
• 무료 타겟 샘플에 대해 가짜 레이블 손실을 적용하여, 모델 자체의 예측을 사용해 특징 학습을 정밀하게 조정한다.
• 이론적 분석을 통해 제안된 반응형 cGAN의 평형 상태가 바람직하며, 안정적인 훈련 동역학을 보장함을 증명한다.

실험 결과

연구 질문

• RQ1 생성자에서 레이블 조건을 제거하면 조건부 GAN에서 반응형 도메인 적응에 있어 레이블 지배 문제를 완화시킬 수 있는가?
• RQ2 레이블 없이 훈련된 생성자도 여전히 목표 도메인에서 고품질이고 의미적으로 일관된 이미지 번역을 생성할 수 있는가?
• RQ3 제안된 반응형 cGAN 프레임워크는 표준 벤치마크에서 기존의 특징 수준 및 픽셀 수준 적응 방법보다 더 높은 성능을 달성하는가?
• RQ4 추가 정규화(근사 손실 및 가짜 레이블 손실)는 저자원 설정에서 모델 일반화 능력을 향상시키는 데 얼마나 효과적인가?

주요 결과

• 반응형 cGAN은 3-shot 설정에서 DomainNet 데이터셋에서 최고 성능을 기록하며, 평균 정확도 74.2%로 모든 베이스라인을 초월한다.
• Office-Home 벤치마크에서 반응형 cGAN은 1-shot 설정에서 평균 정확도 98.7%를 기록하여 비교된 모든 방법을 능가한다.
• 절단 실험에서 추가 손실 없이도 반응형 cGAN은 S→M 작업에서 94.3%의 정확도를 기록하여, cycleGAN(68.4%)과 초기 방법(87.8%)을 크게 앞서 간다.
• 근사 손실과 가짜 레이블 손실을 추가함으로써 성능이 향상되어 S→M 작업에서 정확도가 94.3%에서 95.9%로 상승한다.
• 실험 결과는 제안된 방법이 표준 조건부 GAN에서 관찰되는 레이블 일관성 문제와 레이블 지배 문제를 효과적으로 해결함을 확인한다.
• 이론적 분석은 반응형 cGAN 프레임워크의 평형 상태가 안정적이고 바람직하며 실용적 수렴을 뒷받침함을 확인한다.