[논문 리뷰] Few-shot Image Generation via Cross-domain Correspondence

Utkarsh Ojha, Yijun Li외 5명|arXiv (Cornell University)|2021. 04. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 15

한 줄 요약

이 논문은 새로운 거리 일致성 손실과 앵커 기반의 현실감 정규화를 사용하여 대규모 소스 도메인에서 소규모 타겟 도메인으로 교차 도메인 대응을 전이하는 few-shot 이미지 생성 프레임워크를 제안한다. 적응 과정에서 이미지 간 상대적 유사성을 유지함으로써, 단지 10장의 훈련 이미지로도 다양한 실사적 샘플을 생성하며, 이는 사진적이고 예술적 도메인 모두에서 이전 방법들을 능가한다.

ABSTRACT

Training generative models, such as GANs, on a target domain containing limited examples (e.g., 10) can easily result in overfitting. In this work, we seek to utilize a large source domain for pretraining and transfer the diversity information from source to target. We propose to preserve the relative similarities and differences between instances in the source via a novel cross-domain distance consistency loss. To further reduce overfitting, we present an anchor-based strategy to encourage different levels of realism over different regions in the latent space. With extensive results in both photorealistic and non-photorealistic domains, we demonstrate qualitatively and quantitatively that our few-shot model automatically discovers correspondences between source and target domains and generates more diverse and realistic images than previous methods.

연구 동기 및 목표

• 소규모 타겟 도메인 이미지(예: 10장)만 제공될 때 고품질 생성 모델을 훈련하는 데 도전한다.
• 대규모 소스 도메인에서의 구조적 관계를 전이함으로써 few-shot GAN 훈련에서의 과적합과 낮은 다양성 문제를 해결한다.
• 대규모 레이블이 붙은 데이터가 필요 없이 사전 훈련된 GAN을 새로운 타겟 도메인에 효과적으로 적응시킬 수 있도록 한다.
• 도메인이 의미적으로 관련이 없더라도 소스 및 타겟 분포 간 의미 있는 교차 도메인 대응을 발견한다.

제안 방법

• 생성된 이미지 간의 상대적 쌍별 거리가 소스 도메인과 타겟 도메인 양쪽 모두에서 유지되도록 하는 교차 도메인 거리 일치성 손실을 도입한다.
• 일부 생성 이미지(실제 훈련 샘플과 유사한)에는 이미지 수준의 적대적 손실을 적용하고, 나머지 이미지에는 패치 수준의 적대적 손실을 적용함으로써 현실감과 다양성을 균형 잡는 앵커 기반 전략을 적용한다.
• 거리 일치성 손실과 현실감 정규화를 사용해 사전 훈련된 소스 GAN을 미세조정함으로써, 전체 네트워크 재학습 없이도 few-shot 적응을 가능하게 한다.
• 소음 벡터와 생성된 이미지 간의 일대일 대응을 발견하기 위해 잠재 공간 매핑을 사용하며, 이는 스타일 전이 유사한 생성을 가능하게 한다.
• 대규모 비라벨 소스 도메인(예: FFHQ, Church, Cars)을 활용하고, 구조적 정렬을 통해 소규모 타겟 도메인(예: 만화, 유령집)으로 적응시킨다.
• 재구성 품질 평가 및 도메인 관련성 측정을 위해 사전 훈련된 이미지 인코더(예: Image2StyleGAN)를 활용한다.

실험 결과

연구 질문

• RQ1 10장의 훈련 이미지로만 타겟 도메인에 대해 사전 훈련된 GAN을 효과적으로 적응시킬 수 있을까?
• RQ2 소스 및 타겟 분포 간 교차 도메인 거리 일치성을 강제로 적용하면 few-shot 이미지 생성 성능이 향상되는가?
• RQ3 소스 도메인과 타겟 도메인이 의미적으로 관련이 있을 때와 관련이 없을 때 모델의 성능은 어떻게 다른가?
• RQ4 모델이 소스 도메인과 타겟 도메인 간 의미 있는 부분 수준 또는 전반적 대응을 어느 정도 발견할 수 있는가?
• RQ5 훈련 이미지 수(1-shot, 5-shot, 10-shot)가 증가할수록 생성 샘플의 품질과 다양성은 어떻게 변화하는가?

주요 결과

• 제안된 방법은 단지 10장의 훈련 이미지로도 이전의 few-shot GAN 적응 방법보다 훨씬 더 다양하고 현실적인 이미지를 생성한다.
• 소스 도메인과 타겟 도메인이 의미적으로 관련이 있을 경우(예: FFHQ → 만화), 모델은 소스 이미지와 타겟 이미지 간 명확한 일대일 대응을 발견하여 충실한 스타일 전이를 가능하게 한다.
• 의미적으로 관련이 없는 도메인 설정(예: Cars → Caricatures)에서도 부분 수준의 대응(예: 바퀴가 눈으로 매핑됨)을 발견하여 타당하고 다양한 생성 결과를 도출한다.
• 정량적 평가 결과, FFHQ, Church, Cars는 각각 만화, 유령집, 폐허가 된 차량으로 적응했을 때 재구성 점수(LPIPS < 0.3)가 가장 우수하여 강한 도메인 관련성을 나타낸다.
• 훈련 데이터가 증가함에 따라(1-shot에서 10-shot으로), 생성된 이미지의 다양성과 세부 사항이 크게 향상되며, 10-shot 결과는 뚜렷한 정체성과 richer 구조를 보여준다.
• 앵커 기반의 현실감 정규화는 대부분의 생성 이미지가 패치 수준의 현실감에 집중하고, 오직 일부만 실질적인 훈련 샘플과 유사하게 만들 수 있도록 하여 과적합을 효과적으로 방지한다.