[論文レビュー] Spatial Frequency Bias in Convolutional Generative Adversarial Networks

Mahyar Khayatkhoei, Ahmed Elgammal|arXiv (Cornell University)|Oct 4, 2020

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

この論文は、畳み込みGANにおける空間周波数バイアスが、高周波成分の学習を妨げることを特定し、計算コストを最小限に抑えながらこのバイアスを操作するための周波数空間勾配（FSG）手法を提案する。これにより、アーキテクチャや学習ダイナミクスを変更せずに、高周波成分の性能が顕著に向上する。

ABSTRACT

As the success of Generative Adversarial Networks (GANs) on natural images quickly propels them into various real-life applications across different domains, it becomes more and more important to clearly understand their limitations. Specifically, understanding GANs' capability across the full spectrum of spatial frequencies, i.e. beyond the low-frequency dominant spectrum of natural images, is critical for assessing the reliability of GAN generated data in any detail-sensitive application (e.g. denoising, filling and super-resolution in medical and satellite images). In this paper, we show that the ability of convolutional GANs to learn a distribution is significantly affected by the spatial frequency of the underlying carrier signal, that is, GANs have a bias against learning high spatial frequencies. Crucially, we show that this bias is not merely a result of the scarcity of high frequencies in natural images, rather, it is a systemic bias hindering the learning of high frequencies regardless of their prominence in a dataset. Furthermore, we explain why large-scale GANs' ability to generate fine details on natural images does not exclude them from the adverse effects of this bias. Finally, we propose a method for manipulating this bias with minimal computational overhead. This method can be used to explicitly direct computational resources towards any specific spatial frequency of interest in a dataset, extending the flexibility of GANs.

研究の動機と目的

• 畳み込みGANが、データ分布に依存せずに高空間周波数の学習に対して系としてバイアスを示すかどうかを調査すること。
• このバイアスが、単なるデータ不足ではなく、畳み込みフィルタースペクトル内の固有の線形依存性に起因することを示すこと。
• GANにおける空間周波数バイアスを明示的に制御する手法を開発し、高周波詳細の性能を向上させること。
• 細かいディテールを生成できる大規模GANですら、高周波学習においてこのバイアスの影響を受けることの証明。
• 異なる周波数帯にわたるGAN性能を評価できるスペクトル分解能指標の提供。

提案手法

• 生成器の損失を周波数固有の勾配を注入することで変更する周波数空間勾配（FSG）手法を提案し、計算的注目を所望の空間周波数に再配分する。
• 周波数ドメインにおける画像パッチの特徴ベース比較に基づくスペクトル分解能指標を導入し、異なる周波数帯にわたるGANの評価を可能にする。
• 畳み込みフィルタースペクトルに線形依存性が存在し、低周波数に固有に有利であることを示す定理（定理1）を導出する。
• ラプラシアンピラミッドを用いた解析により、画像特徴を分解し、異なる周波数レベルでのGAN性能を評価する。
• 自然画像には見られない高周波成分を含むため、バイアスを隔離して示すために、フラクタルベースのデータセット（コッホのスノーフレーク）を用いる。
• FSG手法を訓練中に適用し、高周波成分の学習を明示的に強化する。その有効性は、パワースペクトル比較と知覚的指標により検証される。

実験結果

リサーチクエスチョン

• RQ1 高周波成分がデータ中に豊富に存在する場合でも、畳み込みGANの性能が異なる空間周波数帯で顕著に変動するか？
• RQ2 観察された高周波学習バイアスは、データのスパarsityに起因するのか、それとも畳み込みネットワークアーキテクチャそのものに内在する性質なのか？
• RQ3 GANにおける空間周波数バイアスを体系的に操作し、高周波成分の学習を向上させることができるか？
• RQ4 大規模GANが細かいテクスチャを生成できるにもかかわらず、なぜ高周波ディテールの学習で依然として困難を抱えるのか？
• RQ5 識別器が高周波差異を検出する能力が、GAN訓練の不安定性にどの程度寄与しているか？

主な発見

• フラクタルベースのデータセット（高周波成分を豊富に含む）を用いた実験により、畳み込みGANが、訓練データに高周波成分が支配的であっても、高空間周波数の学習に対して系としてバイアスを示すことが実証された。
• このバイアスは、畳み込みフィルタースペクトル内の線形依存性に起因し、定理1で形式的に示されたように、数学的に低周波数に有利に働く。
• StyleGAN2のような大規模GANですら、細かいディテールを生成できるにもかかわらず、高周波成分の性能が低いことから、このバイアスは最先端モデルに対しても依然として存在することが示された。
• 提案されたFSG手法は、計算オーバーヘッドを最小限に抑えながら高周波学習を著しく向上させ、生成画像のパワースペクトル一致度が向上した。
• FSG手法により、どの周波数帯がより多くの訓練注目を集めるかを明示的に制御可能となり、ディテールに敏感な応用分野におけるGANの柔軟性が向上した。
• 本研究では、識別器は生成器ほどこのバイアスに影響を受けにくく、GAN訓練の不安定性の潜在的要因である可能性が明らかになった。