[論文レビュー] SSD-GAN: Measuring the Realness in the Spatial and Spectral Domains

Yuanqi Chen, Ge Li+3 more|arXiv (Cornell University)|Dec 10, 2020

Image and Signal Denoising Methods参考文献 30被引用数 13

ひとこと要約

本稿では、周波数に敏感な分類器を統合することで、空間的およびスペクトル的ドメインにおける本物の度合いを評価できるように拡張された識別器を備えたGANフレームワーク、SSD-GANを提案する。これにより、スペクトル差異が低減され、高周波数の詳細生成が向上する。本手法は、アーキテクチャの大幅な見直しを伴わず、複数のデータセットで最先端のFIDスコアを達成する。

ABSTRACT

This paper observes that there is an issue of high frequencies missing in the discriminator of standard GAN, and we reveal it stems from downsampling layers employed in the network architecture. This issue makes the generator lack the incentive from the discriminator to learn high-frequency content of data, resulting in a significant spectrum discrepancy between generated images and real images. Since the Fourier transform is a bijective mapping, we argue that reducing this spectrum discrepancy would boost the performance of GANs. To this end, we introduce SSD-GAN, an enhancement of GANs to alleviate the spectral information loss in the discriminator. Specifically, we propose to embed a frequency-aware classifier into the discriminator to measure the realness of the input in both the spatial and spectral domains. With the enhanced discriminator, the generator of SSD-GAN is encouraged to learn high-frequency content of real data and generate exact details. The proposed method is general and can be easily integrated into most existing GANs framework without excessive cost. The effectiveness of SSD-GAN is validated on various network architectures, objective functions, and datasets. Code will be available at https://github.com/cyq373/SSD-GAN.

研究の動機と目的

• 標準のGANが生成画像において高周波数コンテンツを再現できない理由を調査すること。
• 識別器内のダウンサンプリング層が高周波数情報の損失を引き起こし、スペクトル分布の不一致を生じることを特定すること。
• 識別器が空間的およびスペクトル的ドメインの両方における本物の度合いを評価できるように、GANに汎用的な強化を提案すること。
• スペクトル差異の低減が生成モデルの画像品質および現実性を向上させることを検証すること。

提案手法

• 実画像と生成画像の間のスペクトル差異を検出できる周波数に敏感な分類器を識別器に導入する。
• 重み付き組み合わせを用いて、空間的本物度とスペクトル的本物度を同時に最適化するようにGAN損失関数を変更する。
• フーリエ変換を用いて周波数成分を分析し、その双対性を活用してスペクトルの忠実度を保証する。
• 既存のGANフレームワークに最小限のアーキテクチャ変更で強化された識別器を統合し、計算コストを低く抑える。
• 生成器を、空間的損失とスペクトル的損失の両方を最小化するように訓練することで、実データからの高周波数の詳細を学習させる。
• SNGAN、StyleGANなどのさまざまなGANアーキテクチャおよびCIFAR100、STL10、LSUNなどのデータセットに本手法を適用し、汎用性を示す。

実験結果

リサーチクエスチョン

• RQ1 空間的リアルリズムは良好なのに、なぜ標準のGANが生成画像において高周波数コンテンツを再現できないのか？
• RQ2 識別器内のダウンサンプリングが、高周波数スペクトル情報の損失にどのように寄与しているのか？
• RQ3 識別器におけるスペクトル的本物度の測定を向上させることで、画像生成品質が向上するか？
• RQ4 提案手法は、さまざまなGANアーキテクチャおよびデータセットに一般化可能か？
• RQ5 空間的およびスペクトル的本物度のバランスを取ることで、FIDスコアおよび知覚的品質にどのような影響があるか？

主な発見

• SSD-SNGAN+REGはLSUN-128で10.61という最低のFIDスコアを達成し、SNGAN+REG（10.61）およびSNGAN+DWT（148.05）を上回る優れた性能を示した。
• 実画像と生成画像の間のスペクトル差異が低減されており、周波数ドメインにおける類似性の向上が裏付けられた。
• SSD-GANはCIFAR100-32、STL10-48、LSUN-128で一貫した性能向上を達成し、FIDスコアはそれぞれ19.25、35.41、10.61であった。
• 空間的およびスペクトル的本物度のトレードオフを制御するハイパーパrameter λ は、異なる値に対しても一貫した性能を示し、ロバストであることがわかった。
• 周波数に敏感な分類器は、スペクトル差を効果的に捉えており、生成器が微細なディテールおよび高周波数のテクスチャを学習できるようにした。
• 本手法は良好に一般化され、顕著なアーキテクチャ変更なしに、多様なGANアーキテクチャおよび目的関数で性能向上を達成した。