[논문 리뷰] One-Shot Generative Domain Adaptation

Ceyuan Yang, Yujun Shen외 5명|arXiv (Cornell University)|2021. 11. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 8

한 줄 요약

이 논문은 기존의 사전 훈련된 GAN을 오직 한 장의 기준 이미지로만 사용하여 새로운 도메인으로 전이하는 one-shot 생성적 도메인 적응 방법인 GenDA를 제안한다. 원본 생성기와 판별기를 고정하고 경량의 속성 적응 모듈과 분류기를 도입함으로써 GenDA는 합성 품질과 다양성을 유지하면서도 타겟 도메인 특유의 속성을 효과적으로 전이한다. 기존 방법들보다 극도로 낮은 데이터 가용성 조건에서도 다양성과 충실도 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

This work aims at transferring a Generative Adversarial Network (GAN) pre-trained on one image domain to a new domain referring to as few as just one target image. The main challenge is that, under limited supervision, it is extremely difficult to synthesize photo-realistic and highly diverse images, while acquiring representative characters of the target. Different from existing approaches that adopt the vanilla fine-tuning strategy, we import two lightweight modules to the generator and the discriminator respectively. Concretely, we introduce an attribute adaptor into the generator yet freeze its original parameters, through which it can reuse the prior knowledge to the most extent and hence maintain the synthesis quality and diversity. We then equip the well-learned discriminator backbone with an attribute classifier to ensure that the generator captures the appropriate characters from the reference. Furthermore, considering the poor diversity of the training data (i.e., as few as only one image), we propose to also constrain the diversity of the generative domain in the training process, alleviating the optimization difficulty. Our approach brings appealing results under various settings, substantially surpassing state-of-the-art alternatives, especially in terms of synthesis diversity. Noticeably, our method works well even with large domain gaps, and robustly converges within a few minutes for each experiment.

연구 동기 및 목표

• 오직 한 장의 기준 이미지로만 제공되는 조건에서, 새로운 도메인으로 사전 훈련된 GAN을 적응시키는 데 있어 높은 품질과 다양한 이미지를 생성하는 데 도전하는 것.
• one-shot 설정에서 흔히 발생하는 다양성 붕괴 문제를 해결하는 것.
• 원본 도메인 GAN이 지닌 풍부한 사전 지식을 유지하면서도, 타겟 이미지의 가장 대표적인 속성들만 전이하는 것.
• 단일 기준 샘플로만 훈련하는 조건에서 잠재 공간의 다양성을 제약함으로써 최적화의 난이도를 줄이는 것.

제안 방법

• 원본 생성기 가중치를 고정함으로써 사전 지식을 유지하면서도, 잠재 공간과 생성기 사이에 연결되는 경량의 속성 적응 모듈을 도입한다. 이 모듈은 훈련되며, 원본 생성기의 가중치는 고정된다.
• 고정된 백본을 가진 사전 훈련된 판별기에 위에 경량의 속성 분류기를 부착하여, 생성기가 타겟 도메인 특유의 속성을 잘 포착하도록 유도한다.
• 적응 과정에서 전체 생성기와 판별기 네트워크를 고정하고, 오직 새로운 모듈들만 최적화함으로써 합성 품질과 다양성을 유지한다.
• 훈련 중에 잠재 분포에 트렁케이션을 적용하여 모드 붕괴를 줄이고, 낮은 데이터 조건에서의 최적화 안정성을 향상시킨다.
• 두 개의 스트림을 사용하는 훈련 전략을 적용하여, 생성기는 타겟 도메인에 맞는 이미지를 합성하도록 학습하고, 판별기는 도메인 특화된 속성을 기반으로 진짜와 가짜 이미지를 구분하도록 한다.
• 표준 평가 지표인 FID, 정밀도, 재현율을 사용하여 다양한 벤치마크에서 성능을 검증한다.

Figure 1: Diagram of one-shot generative domain adaptation. Left: The overall framework, where a GAN model pre-trained on the large-scale source data is transferred to the target domain with only one training sample . A lightweight attribute adaptor and attribute classifier are introduced to the fro

실험 결과

연구 질문

• RQ1 오직 한 장의 기준 이미지로만 제공되는 조건에서, 사전 훈련된 GAN이 고도로 다양성이 확보된 이미지를 생성하면서도 효과적으로 새로운 도메인으로 적응할 수 있는가?
• RQ2 표준적인 미세조정 전략은 왜 one-shot 도메인 적응 조건에서 다양성을 유지하지 못하는가?
• RQ3 원본 도메인 GAN의 사전 지식를 어떻게 재사용하여 도메인 적응의 데이터 효율성을 높일 수 있는가?
• RQ4 잠재 공간의 트렁케이션은 최소한의 감독 조건에서 훈련을 안정화시키는 데 어떤 역할을 하는가?
• RQ5 경량적이고 모듈화된 구성 요소를 사용하여 전체 GAN을 재학습하지 않고도 타겟 이미지의 핵심 속성만 전이할 수 있는가?

주요 결과

• GenDA는 one-shot 생성적 도메인 적응 분야에서 최신 기준 성능을 달성하여, FID 및 정밀도-재현율 지표에서 기존 방법들을 크게 앞서 간다.
• 오직 한 장의 훈련 이미지로도 높은 합성 다양성을 유지하며, 일반적으로 미세조정된 GAN에서 관찰되는 모드 붕괴 현상은 피한다.
• 실험당 몇 분 내로 수렴함으로써, 극도로 낮은 감독 조건임에도 불구하고 강력한 훈련 효율성을 보여준다.
• 훈련 중에 잠재 공간을 트렁케이션 처리하는 것이 최적화 난이도를 줄이고 샘플 품질을 향상시킨다.
• GenDA는 오직 한 장의 기준 이미지로만 제공되는 조건에서 사전 훈련된 StyleGAN2 모델을 인간 얼굴이나 성당 등의 새로운 도메인으로 성공적으로 적응시켜, 현실적이고 다양한 샘플을 생성한다.
• 절단 분석 결과, 원본 GAN 가중치를 고정하고 속성 적응 모듈 및 분류기만 사용할 경우, 전체 미세조정보다 뛰어난 성능을 달성함을 확인하였다.

Figure 2: Qualitative comparison on one-shot adaptation between FreezeD (Mo et al., 2020 ) , Cross-Domain (Ojha et al., 2021 ) , and our proposed GenDA. The first column shows the reference images. GenDA significantly outperforms the other competitors from the diversity perspective.