[논문 리뷰] On Leveraging Pretrained GANs for Limited-Data Generation

Miaoyun Zhao, Yulai Cong외 1명|arXiv (Cornell University)|2020. 02. 26.

Generative Adversarial Networks and Image Synthesis인용 수 14

한 줄 요약

이 논문은 이미지 생성을 위해 사전 훈련된 GAN의 저수준 필터를 전이하여 데이터가 제한된 조건에서 성능을 향상시키는 방법을 제안한다. 적응형 필터 모odulation (AdaFM)을 사용함으로써 성능과 훈련 효율성이 향상되어, 기준 모델 대비 소수의 샘플로 생성하는 작업에서 뛰어난 성과를 달성한다.

ABSTRACT

Recent work has shown GANs can generate highly realistic images that are indistinguishable by human. Of particular interest here is the empirical observation that most generated images are not contained in training datasets, indicating potential generalization with GANs. That generalizability makes it appealing to exploit GANs to help applications with limited available data, e.g., augment training data to alleviate overfitting. To better facilitate training a GAN on limited data, we propose to leverage already-available GAN models pretrained on large-scale datasets (like ImageNet) to introduce additional common knowledge (which may not exist within the limited data) following the transfer learning idea. Specifically, exampled by natural image generation tasks, we reveal the fact that low-level filters (those close to observations) of both the generator and discriminator of pretrained GANs can be transferred to help the target limited-data generation. For better adaption of the transferred filters to the target domain, we introduce a new technique named adaptive filter modulation (AdaFM), which provides boosted performance over baseline methods. Unifying the transferred filters and the introduced techniques, we present our method and conduct extensive experiments to demonstrate its training efficiency and better performance on limited-data generation.

연구 동기 및 목표

• 과도한 피팅이 흔한 소규모 데이터셋에서 GAN을 효과적으로 훈련시키는 데 도전한다.
• 사전 훈련된 GAN이 제한된 데이터 생성 작업에 일반화 가능한 지식을 제공할 수 있는지 탐색한다.
• 사전 훈련된 GAN의 저수준 필터(입력층 근처)가 새로운 소규모 데이터셋으로 전이 가능한지 조사한다.
• 전이된 필터를 목표 도메인에 적응시키는 방법을 개발하면서도 일반화 능력을 유지한다.
• 제한된 데이터 이미지 생성 벤치마크에서 훈련 효율성과 생성 품질을 향상시킨다.

제안 방법

• ImageNet 등에서 사전 훈련된 GAN의 생성기 및 판별기에서 저수준 필터를 추출하여, 새로운 소규모 목표 데이터셋에서 훈련되는 GAN으로 전이한다.
• 전이된 필터를 보다 목표 도메인의 분포에 잘 적응시키기 위해 적응형 필터 모듈레이션 (AdaFM)을 적용한다.
• 전이된 필터와 조정된 필터를 목표 GAN의 초기 레이어의 초기화로 사용함으로써 학습된 특징 계층을 유지한다.
• 사전 훈련된 모델의 사전 지식을 활용하여, 초기화된 필터를 기반으로 목표 GAN을 엔드 투 엔드로 훈련한다.
• 입력 통계에 기반해 필터 반응을 조정하는 가속 가능한 모듈로 AdaFM을 통합함으로써 특징 정렬을 향상시킨다.
• 필터 전이와 AdaFM을 하나의 훈련 프레임워크로 통합하여 수렴성과 생성 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 GAN의 저수준 필터가 새로운 제한된 데이터 이미지 생성 작업으로 일반화될 수 있는가?
• RQ2 대규모 사전 훈련된 GAN에서 필터를 전이하면 소규모 데이터셋에서 훈련 효율성과 성능이 어떻게 향상되는가?
• RQ3 적응형 필터 모듈레이션 (AdaFM)이 전이된 필터의 목표 도메인 적응에 얼마나 기여하는가?
• RQ4 제안된 방법이 소수의 샘플로 생성하는 작업에서 표준 미세조정과 무작위 초기화보다 우수한 성능을 보이는가?
• RQ5 저자원 환경에서 데이터 증강을 위한 지식 소스로 사전 훈련된 GAN을 사용할 경우 어떤 영향을 미치는가?

주요 결과

• 사전 훈련된 GAN의 저수준 필터를 전이하면 제한된 데이터 벤치마크에서 생성 품질이 크게 향상된다.
• AdaFM를 적용한 제안된 방법은 소수의 샘플로 생성하는 작업에서 기준 모델 대비 더 높은 인ception 스코어와 FID를 달성한다.
• 무작위 초기화보다 전이된 필터를 사용할 경우 수렴 속도가 빠르다.
• 낮은 레이블 수로도 다양한 자연 이미지 데이터셋에 잘 일반화된다.
• AdaFM는 전이된 필터를 효과적으로 조정하여 특징 정렬을 향상시키고 분포 이탈을 줄인다.
• 클래스당 100장의 훈련 이미지만으로도 강력한 성능을 보이며 데이터 부족에 대한 내구성을 입증한다.