[論文レビュー] FreGAN: Exploiting Frequency Components for Training GANs under Limited Data

Mengping Yang, Zhe Wang+2 more|arXiv (Cornell University)|Oct 11, 2022

Advanced Neural Network Applications被引用数 27

ひとこと要約

FreGANは周波数成分を活用してデータが限られた状況でGANを訓練し、いくつかのベースラインと比較して複数のスタイルで競争力のあるLPIPSスコアを達成します。

ABSTRACT

Training GANs under limited data often leads to discriminator overfitting and memorization issues, causing divergent training. Existing approaches mitigate the overfitting by employing data augmentations, model regularization, or attention mechanisms. However, they ignore the frequency bias of GANs and take poor consideration towards frequency information, especially high-frequency signals that contain rich details. To fully utilize the frequency information of limited data, this paper proposes FreGAN, which raises the model's frequency awareness and draws more attention to producing high-frequency signals, facilitating high-quality generation. In addition to exploiting both real and generated images' frequency information, we also involve the frequency signals of real images as a self-supervised constraint, which alleviates the GAN disequilibrium and encourages the generator to synthesize adequate rather than arbitrary frequency signals. Extensive results demonstrate the superiority and effectiveness of our FreGAN in ameliorating generation quality in the low-data regime (especially when training data is less than 100). Besides, FreGAN can be seamlessly applied to existing regularization and attention mechanism models to further boost the performance.

研究の動機と目的

• 限られたデータで高品質なGANを訓練する課題に対処する。
• 周波数領域情報を活用して生成品質を向上させる。
• LPIPSを指標として、複数の多様なスタイルでFreGANを強力なベースラインと比較する。
• 小規模サンプルサイズを持つデータセットに対するロバスト性を定量的に示す。

提案手法

• データ制限環境に設計された周波数認識型GAN訓練フレームワークFreGANを導入する。
• 主指標としてLPIPSを用い、5スタイルでの性能を評価する。
• StyleGAN2、ADA、APA、DiffAug、FastGANと比較する。
• FreGANのベースラインに対する性能を定量的に示す。

実験結果

リサーチクエスチョン

• RQ1 限られたデータで訓練する際、FreGANは強力なベースラインより主観的品質（LPIPS）を改善できるか？
• RQ2 FreGANは多様な視覚スタイル（AnimeFace、ArtPainting、Moongate、Flat、Fauvism）でどのように性能を発揮するか？
• RQ3 周波数ベースの訓練と従来のデータ拡張・正則化のLPIPSへの影響はどう違うか？
• RQ4 FreGANの性能は異なるデータレジームとスタイルデータセットで一貫しているか？

主な発見

手法	AnimeFace LPIPS	ArtPainting LPIPS	Moongate LPIPS	Flat LPIPS	Fauvism LPIPS
StyleGAN2	0.4253 ± 0.0020	0.7244 ± 0.0009	0.7047 ± 0.0026	0.6223 ± 0.0026	0.6344 ± 0.0009
ADA	0.5611 ± 0.0015	0.8102 ± 0.0015	0.6418 ± 0.0015	0.7288 ± 0.0017	0.6509 ± 0.0014
APA	0.5491 ± 0.0017	0.8062 ± 0.0014	0.7235 ± 0.0016	0.6317 ± 0.0022	0.6848 ± 0.0014
DiffAug	0.4926 ± 0.0005	0.7717 ± 0.0016	0.5880 ± 0.0015	0.4403 ± 0.0005	0.6117 ± 0.0023
FastGAN	0.6188 ± 0.0011	0.8344 ± 0.0015	0.6603 ± 0.0010	0.7939 ± 0.0016	0.7028 ± 0.0010
FreGAN (Ours)	0.6191 ± 0.0010	0.8439 ± 0.0016	0.6673 ± 0.0016	0.7952 ± 0.0011	0.7028 ± 0.0010

• FreGANは5つのスタイルでLPIPSが0.6191、0.8439、0.6673、0.7952、0.7028となる。
• FreGANは複数のスタイルでStyleGAN2、ADA、APA、DiffAug、FastGANなどのベースラインと競合、またはそれを上回る。
• FreGANの報告LPIPS値は、スタイルによっては複数のベースラインより近い、あるいは上回る。