[논문 리뷰] Transferring GANs: generating images from limited data

Yaxing Wang, Chenshen Wu외 4명|arXiv (Cornell University)|2018. 05. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 21

한 줄 요약

이 논문은 생성 적대 신경망(GAN)에 대한 전이 학습을 조사하며, 밀도 높고 영역이 제한된 데이터셋(예: LSUN)에서 사전 훈련된 모델로 GAN을 초기화하면 특히 데이터 부족 조건에서 수렴 속도가 빨라지고 이미지 품질이 향상됨을 입증한다. 주요 결과로는 생성자보다 판별자가 전이되는 것이 더 중요하며, 다양성보다는 밀도가 높은 데이터셋이 생성 작업에서 더 우수한 성능을 보임을 확인한다.

ABSTRACT

Transferring the knowledge of pretrained networks to new domains by means of finetuning is a widely used practice for applications based on discriminative models. To the best of our knowledge this practice has not been studied within the context of generative deep networks. Therefore, we study domain adaptation applied to image generation with generative adversarial networks. We evaluate several aspects of domain adaptation, including the impact of target domain size, the relative distance between source and target domain, and the initialization of conditional GANs. Our results show that using knowledge from pretrained networks can shorten the convergence time and can significantly improve the quality of the generated images, especially when the target data is limited. We show that these conclusions can also be drawn for conditional GANs even when the pretrained model was trained without conditioning. Our results also suggest that density may be more important than diversity and a dataset with one or few densely sampled classes may be a better source model than more diverse datasets such as ImageNet or Places.

연구 동기 및 목표

• 전이 학습이 분류 모델에서 널리 사용되듯이 생성 모델, 특히 GAN에 효과적으로 적용될 수 있는지 조사하기 위해.
• 원천 도메인 특성(예: 다양성, 밀도, 클래스 분포)이 GAN에서의 전이 성능에 미치는 영향을 평가하기 위해.
• 사전 훈련된 무조건적 GAN이 조건부 GAN으로 성공적으로 적응될 수 있는지 확인하기 위해.
• 조건부 및 무조건적 GAN에서 생성자와 판별자의 전이 중요도를 분석하기 위해.
• 소수의 레이블이 부여된 이미지만 존재하는 저데이터 환경에서 전이 학습의 효과를 평가하기 위해.

제안 방법

• ImageNet, Places, LSUN, CelebA 등에서 사전 훈련된 GAN을 미세조정하여 생성자와 판별기에 사전 훈련된 가중치를 초기화함.
• LSUN 10개 클래스 서브셋에서 이미지 현실성에 대해 FID(Fréchet Inception Distance)와 인간 평가를 사용해 전이 성능를 평가함.
• 무조건적 GAN에서 사전 훈련된 모델을 사용해 조건부 GAN(AC-GAN)을 훈련함. 이 때 원천 모델이 조건부 훈련을 하지 않았더라도 가능함.
• 다양한 타겟 데이터셋 크기(클래스당 100장, 1,000장, 10,000장)에서 초기 훈련과 전이 학습을 비교함.
• 인간 평가자들이 초기 훈련된 모델과 사전 훈련된 모델에서 생성된 두 이미지 중 어느 쪽이 더 현실적으로 보이는지 평가하는 심리물리적 실험을 실시함.
• 특히 저데이터 환경에서 원천-타겟 도메인 간 거리와 클래스 밀도가 전이 가능성에 미치는 영향을 분석함.

실험 결과

연구 질문

• RQ1 제한된 훈련 데이터가 존재할 때, 사전 훈련된 GAN에서의 전이 학습이 이미지 생성 품질과 수렴 속도를 향상시킬 수 있는가?
• RQ2 원천 데이터셋의 선택(예: ImageNet, Places, LSUN, CelebA)이 GAN에서의 전이 성능에 어떤 영향을 미치는가?
• RQ3 GAN에서 판별자 전이가 생성자 전이보다 더 유익한가? 둘 다 전이하면 최고의 성능을 얻을 수 있는가?
• RQ4 원천 모델이 조건부 훈련을 하지 않았더라도, 사전 훈련된 무조건적 GAN을 조건부 GAN으로 효과적으로 적응시킬 수 있는가?
• RQ5 GAN에서 전이 가능한 특징을 위해 다양성보다 클래스 밀도(클래스당 이미지 수)가 더 중요한가?

주요 결과

• 사전 훈련된 GAN은 특히 타겟 데이터가 제한된 경우 훈련 시간을 크게 단축시키고 이미지 품질을 향상시킨다. LSUN에서 클래스당 100장일 때 FID 점수가 119.1 vs. 162.9로 낮아짐을 통해 이를 입증함.
• 판별자만 전이하는 것이 생성자만 전이하는 것보다 성능이 뛰어나며, 둘 다 전이하면 최고의 성능을 기록함.
• ImageNet은 높은 다양성을 지니고 있지만, 낮은 클래스 밀도로 인해 GAN 전이의 원천으로서 성능이 열악함. 반면 더 높은 밀도를 가진 LSUN은 이에 비해 뚜렷이 승리함.
• 인간 평가 결과, 사전 훈련된 GAN이 더 현실적인 이미지를 생성함. 클래스당 1,000장일 때 67%의 경우에서 선호됨으로써 FID 결과와 일치함.
• 사전 훈련된 모델에서 미세조정한 AC-GAN은 더 높은 분류기 정확도(예: 클래스당 1,000장일 때 65.9% vs. 52.7%)와 낮은 FID를 기록함으로써 분포 일치도가 더 우수함을 시사함.
• 이 연구는 GAN에서 전이 가능성에 있어 다양성보다 높은 클래스 밀도가 더 중요하다는 것을 드러내며, ImageNet과 같은 다채로운 데이터셋이 최적이라고 보는 기존의 가정을 도전함.