[논문 리뷰] When, Why, and Which Pretrained GANs Are Useful?

Timofey Grigoryev, Andrey Voynov외 1명|arXiv (Cornell University)|2022. 02. 17.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 사전 훈련된 GAN이 언제, 왜, 어떤 경우에 미세조정에 효과적인지 조사하며, 사전 훈련된 생성기와 판별기가 각각 모드 커버리지 향상과 지도되는 기울기 필드 제공을 통해 더 나은 다양성을 이끌어낸다고 보여준다. 이미지넷 사전 훈련된 GAN은 샘플의 정확도가 낮음에도 불구하고, 미세조정의 최적의 시작점임을 입증하며, 최적의 체크포인트를 자동으로 선택하기 위한 리콜 기반 지표를 제안한다.

ABSTRACT

The literature has proposed several methods to finetune pretrained GANs on new datasets, which typically results in higher performance compared to training from scratch, especially in the limited-data regime. However, despite the apparent empirical benefits of GAN pretraining, its inner mechanisms were not analyzed in-depth, and understanding of its role is not entirely clear. Moreover, the essential practical details, e.g., selecting a proper pretrained GAN checkpoint, currently do not have rigorous grounding and are typically determined by trial and error. This work aims to dissect the process of GAN finetuning. First, we show that initializing the GAN training process by a pretrained checkpoint primarily affects the model's coverage rather than the fidelity of individual samples. Second, we explicitly describe how pretrained generators and discriminators contribute to the finetuning process and explain the previous evidence on the importance of pretraining both of them. Finally, as an immediate practical benefit of our analysis, we describe a simple recipe to choose an appropriate GAN checkpoint that is the most suitable for finetuning to a particular target task. Importantly, for most of the target tasks, Imagenet-pretrained GAN, despite having poor visual quality, appears to be an excellent starting point for finetuning, resembling the typical pretraining scenario of discriminative computer vision models.

연구 동기 및 목표

• 저자료가 적은 환경에서 사전 훈련된 모델을 사용한 GAN 미세조정의 성공 원리를 이해하기.
• 사전 훈련된 생성기와 판별기가 모델 커버리지 및 일반화 능력 향상에 기여하는 구체적인 역할을 명확히 하기.
• 현재 시행착오 방식으로 선택되고 있는 사전 훈련된 GAN 체크포인트 선택에 대한 엄밀한 기준의 부족 문제를 해결하기.
• 주어진 타겟 데이터셋에 가장 적합한 사전 훈련된 GAN 체크포인트를 자동으로 선택할 수 있는 실용적인 방법 제공하기.
• 이미지넷 기반 사전 훈련된 GAN은 시각적 품질이 낮음에도 불구하고, 미세조정에 매우 효과적이며, 분류 모델 사전 훈련 관행을 그대로 따름을 입증하기.

제안 방법

• 합성 및 실재 데이터 실험을 통해 사전 훈련된 GAN 체크포인트가 커버리지와 정확도에 미치는 영향 분석하기.
• 미세조정 중 사전 훈련된 생성기(모드 커버리지)와 판별기(기울기 필드 지도)의 기여도 분해하기.
• 이전 데이터셋 유사도 평가를 위한 FID, KID, 정밀도, 리콜 기반의 대체 지표 제안하기.
• 지표 계산을 위한 실재 소스 데이터의 실용적 대안으로 사전 훈련 모델에서 생성된 샘플 사용하기.
• 다양한 타겟 데이터셋에서 가장 낮은 FID를 기록하는 체크포인트를 식별하는 데에 각 지표의 예측 능력을 비교하여 평가하기.
• 이미지넷 기반 체크포인트를 포함한 다양한 사전 훈련된 체크포인트를 사용해 StyleGAN2에서 발견 결과 검증하기.

실험 결과

연구 질문

• RQ1 사전 훈련된 체크포인트로 GAN 훈련을 초기화하면, 모델 커버리지와 샘플 정확도에 어떤 영향을 미치는가?
• RQ2 사전 훈련된 생성기와 판별기가 미세조정 성능 향상에 기여하는 구체적인 역할은 무엇인가?
• RQ3 왜 GAN 미세조정에서 생성기와 판별기를 모두 초기화하는 것이 유리한가?
• RQ4 리콜 또는 기타 분포 지표는 타겟 데이터셋에 가장 적합한 사전 훈련된 GAN 체크포인트를 신뢰성 있게 예측할 수 있는가?
• RQ5 이미지넷 기반 사전 훈련된 GAN은 낮은 샘플 품질에도 불구하고, 미세조정의 강력한 시작점인가?

주요 결과

• 사전 훈련된 GAN 체크포인트는 개별 생성 샘플의 정확도를 높이는 것보다 주로 모델 커버리지를 향상시킨다.
• 사전 훈련된 생성기는 타겟 분포의 여러 모드를 커버함으로써 초기 다양성을 보장하지만, 사전 훈련된 판별기는 올바른 모드로 샘플을 이끄는 기울기 필드를 제공한다.
• 생성기와 판별기를 모두 초기화하면 더 나은 모드 커버리지와 모드 붕괴 위험 감소가 이루어지며, 이는 전체 모델 사전 훈련의 경험적 성공을 설명한다.
• 대부분의 타겟 작업에서 이미지넷 기반 사전 훈련된 GAN은 시각적 품질이 낮음에도 불구하고, 최적의 미세조정 시작점이다.
• 리콜 지표는 미세조정 성공 여부를 신뢰성 있게 예측할 수 있으며, 최적의 사전 훈련 체크포인트 자동 선택을 이끌 수 있다. 이는 FID와 정밀도보다 이 역할에서 뛰어나다.
• StyleGAN2에서의 실험 결과, 이미지넷 기반 사전 훈련은 더 낮은 FID 점수(예: L. Bedroom에서 2.56 vs. 2.97)와 더 나은 이미지 복원 성능(LPIPS와 F-오차가 낮음)을 이끌어내어 실용적 우수성을 확인한다.