[논문 리뷰] FreGAN: Exploiting Frequency Components for Training GANs under Limited Data

Mengping Yang, Zhe Wang외 2명|arXiv (Cornell University)|2022. 10. 11.

Advanced Neural Network Applications인용 수 27

한 줄 요약

FreGAN은 주파수 구성요소를 활용하여 제한된 데이터로 GAN을 학습하고, 여러 스타일에서 여러 baselines와 비교해 LPIPS 점수에서 경쟁력을 보임.

ABSTRACT

Training GANs under limited data often leads to discriminator overfitting and memorization issues, causing divergent training. Existing approaches mitigate the overfitting by employing data augmentations, model regularization, or attention mechanisms. However, they ignore the frequency bias of GANs and take poor consideration towards frequency information, especially high-frequency signals that contain rich details. To fully utilize the frequency information of limited data, this paper proposes FreGAN, which raises the model's frequency awareness and draws more attention to producing high-frequency signals, facilitating high-quality generation. In addition to exploiting both real and generated images' frequency information, we also involve the frequency signals of real images as a self-supervised constraint, which alleviates the GAN disequilibrium and encourages the generator to synthesize adequate rather than arbitrary frequency signals. Extensive results demonstrate the superiority and effectiveness of our FreGAN in ameliorating generation quality in the low-data regime (especially when training data is less than 100). Besides, FreGAN can be seamlessly applied to existing regularization and attention mechanism models to further boost the performance.

연구 동기 및 목표

• 제한된 데이터로 고품질 GAN을 훈련하는 도전 과제 해결.
• 주파수 영역 정보를 활용해 생성 품질을 향상.
• LPIPS를 주요 지표로 다섯 개 스타일에서 FreGAN을 강력한 baselines와 비교.
• 작은 데이터 샘플 크기로 다양한 데이터세트에서 강건성에 대한 정량적 증거를 제공.

제안 방법

• 데이터 제한 환경에 맞게 설계된 주파수 인식 GAN 훈련 프레임워크 FreGAN 도입.
• 다섯 가지 스타일에 걸쳐 LPIPS를 주요 지표로 성능 평가.
• StyleGAN2, ADA, APA, DiffAug, FastGAN과 비교.
• FreGAN의 baselines 대비 성능을 수치적으로 제시.

실험 결과

연구 질문

• RQ1 제한된 데이터로 학습할 때 FreGAN이 강력한 baselines보다 지각 품질(LPIPS)을 향상시키는가?
• RQ2 FreGAN은 다양한 시각 스타일(AnimeFace, ArtPainting, Moongate, Flat, Fauvism)에서 어떤 성능을 보이는가?
• RQ3 주파수 기반 학습이 기존 데이터 증강이나 규제에 비해 LPIPS에 미치는 상대적 영향은 무엇인가?
• RQ4 다른 데이터 regime 및 스타일 데이터 세트에서 FreGAN의 성능은 일관적인가?

주요 결과

방법	AnimeFace LPIPS	ArtPainting LPIPS	Moongate LPIPS	Flat LPIPS	Fauvism LPIPS
StyleGAN2	0.4253 ± 0.0020	0.7244 ± 0.0009	0.7047 ± 0.0026	0.6223 ± 0.0026	0.6344 ± 0.0009
ADA	0.5611 ± 0.0015	0.8102 ± 0.0015	0.6418 ± 0.0015	0.7288 ± 0.0017	0.6509 ± 0.0014
APA	0.5491 ± 0.0017	0.8062 ± 0.0014	0.7235 ± 0.0016	0.6317 ± 0.0022	0.6848 ± 0.0014
DiffAug	0.4926 ± 0.0005	0.7717 ± 0.0016	0.5880 ± 0.0015	0.4403 ± 0.0005	0.6117 ± 0.0023
FastGAN	0.6188 ± 0.0011	0.8344 ± 0.0015	0.6603 ± 0.0010	0.7939 ± 0.0016	0.7028 ± 0.0010
FreGAN (Ours)	0.6191 ± 0.0010	0.8439 ± 0.0016	0.6673 ± 0.0016	0.7952 ± 0.0011	0.7028 ± 0.0010

• FreGAN은 다섯 스타일에서 LPIPS 0.6191, 0.8439, 0.6673, 0.7952, 0.7028를 달성.
• FreGAN은 여러 스타일에서 StyleGAN2, ADA, APA, DiffAug, FastGAN 등 여러 baselines와 경쟁하거나 이를 능가한다.
• 스타일에 따라 FreGAN의 LPIPS 값이 여러 baselines에 근접하거나 더 좋은 것으로 보고된다.