[논문 리뷰] Few-Shot Adaptation of Generative Adversarial Networks

Esther Robb, Wen–Sheng Chu외 2명|arXiv (Cornell University)|2020. 10. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 54

한 줄 요약

이 논문은 Few-Shot GAN(FSGAN)을 도입하여 사전 학습된 GAN을 새로운 도메인에 매우 적은 타깃 이미지를 사용해 적합시키는 방법으로, SVD를 통해 가중치를 분해하고 특이값만 업데이트하며 특이 벡터는 고정합니다.

ABSTRACT

Generative Adversarial Networks (GANs) have shown remarkable performance in image synthesis tasks, but typically require a large number of training samples to achieve high-quality synthesis. This paper proposes a simple and effective method, Few-Shot GAN (FSGAN), for adapting GANs in few-shot settings (less than 100 images). FSGAN repurposes component analysis techniques and learns to adapt the singular values of the pre-trained weights while freezing the corresponding singular vectors. This provides a highly expressive parameter space for adaptation while constraining changes to the pretrained weights. We validate our method in a challenging few-shot setting of 5-100 images in the target domain. We show that our method has significant visual quality gains compared with existing GAN adaptation methods. We report qualitative and quantitative results showing the effectiveness of our method. We additionally highlight a problem for few-shot synthesis in the standard quantitative metric used by data-efficient image synthesis works. Code and additional results are available at http://e-271.github.io/few-shot-gan.

연구 동기 및 목표

• 라벨링된 데이터가 매우 제한된 영역(5–100장의 이미지)에서 이미지 합성을 가능하게 하고 동기를 부여한다.
• 사전 학습된 GAN을 전체 미세 조정 없이도 제약되면서도 표현력이 있는 매개 공간을 개발한다.
• SVD 기반 가중치 적응이 기존의 소수-shot 방법들보다 더 높은 품질과 다양성을 제공함을 보여준다.

제안 방법

• 사전 학습된 생성자와 판별기의 가중치에 특이값 분해(SVD)를 적용하여 (U0, Σ0, V0)를 얻는다.
• 좌/우 특이 벡터(U0, V0)를 고정하고 특이값 Σ를 최적화하여 대상 도메인에 맞춘다.
• 레이어당 W0 = U0 Σ0 V0^T를 얻도록 4D 합성곱 가중치를 2D로 재구성하고, 훈련 중에는 WΣ = U0 Σ V0^T로 재구성한다.
• 과적합을 피하기 위해 제한된 타임스텝수로 Σ를 업데이트하도록 표준 GAN 목표에 따라 학습한다.
• 추론 시 트런케이션(ψ = 0.8)을 사용하여 다양성을 촉진하면서 품질을 유지한다.
• 특이값의 적응이 출력에 의미론적으로 의미 있는 변화를 반영한다고 주장한다.

실험 결과

연구 질문

• RQ1 5–100장의 타깃 이미지를 가진 새로운 도메인에서 GAN의 소수-shot 적응이 새로운 고품질 샘플을 생성할 수 있는가?
• RQ2 특이값으로의 적응만 제한하는 것이 전체 미세 조정이나 배치 통계 기반 적응보다 표현력과 안정성 사이의 더 나은 균형을 제공하는가?
• RQ3 근접 도메인 및 원거리 도메인 전이에서 이미지 품질, 다양성, 안정성 측면에서 FSGAN이 기존의 소수-shot GAN 적응 방법과 어떻게 비교되는가?

주요 결과

• 근접 도메인과 원거리 도메인 작업에서 소수-shot 시나리오에서 경쟁 방법들보다 더 높은 이미지 품질을 달성한다.
• 상위 특이값을 다양하게 조정하면 구조를 보존하면서 출력에 의미론적으로 의미 있는 변화를 준다.
• 매우 낮은 샷 설정에서 FID는 오해의 소지가 있을 수 있다; 품질 지표가 아닌 질적 지표와 다양성 중심 평가가 필요하다.
• 5–100샷 설정에서 강건성을 보이며 FreezeD 및 SSGAN 기본값보다 더 나은 적응 동작을 보인다.
• 근접 도메인 전이(FFHQ→CelebA)는_baseline 대비 노이즈를 줄인 자연스러운 얼굴 생성을 보인다.
• 원거리 도메인 전이(예: 사진→미술)에서 FSGAN이 더 극적이고 일관된 의미적 변화를 만들어내면서도 품질을 유지한다.