[論文レビュー] Feature Quantization Improves GAN Training

Yang Zhao, Chunyuan Li+3 more|arXiv (Cornell University)|Apr 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 40被引用数 14

ひとこと要約

本稿では、生成対抗ネットワーク（GAN）向けに特徴量量子化（FQ）を提案する。ディスクラミネーターは、最近の特徴量プロトタイプの動的で移動平均型の辞書を用いて、実画像および偽画像の特徴量を離散トークンに量子化する。共有の離散空間における頑健でコン act な特徴量マッチングを可能にすることで、FQは訓練を安定化させ、生成品質を向上させ、StyleGAN2（FFHQで3.19 FID）や画像変換タスクにおけるU-GAT-ITを含む、複数のGANアーキテクチャおよびベンチマークで最先端のFIDスコアを達成する。

ABSTRACT

The instability in GAN training has been a long-standing problem despite remarkable research efforts. We identify that instability issues stem from difficulties of performing feature matching with mini-batch statistics, due to a fragile balance between the fixed target distribution and the progressively generated distribution. In this work, we propose Feature Quantization (FQ) for the discriminator, to embed both true and fake data samples into a shared discrete space. The quantized values of FQ are constructed as an evolving dictionary, which is consistent with feature statistics of the recent distribution history. Hence, FQ implicitly enables robust feature matching in a compact space. Our method can be easily plugged into existing GAN models, with little computational overhead in training. We apply FQ to 3 representative GAN models on 9 benchmarks: BigGAN for image generation, StyleGAN for face synthesis, and U-GAT-IT for unsupervised image-to-image translation. Extensive experimental results show that the proposed FQ-GAN can improve the FID scores of baseline methods by a large margin on a variety of tasks, achieving new state-of-the-art performance.

研究の動機と目的

• ミニバッチ統計の非定常性に起因するGAN訓練の不安定性を解消する。
• 現在のミニバッチ統計に依存する特徴量マッチングの限界を克服し、一般化性能の低下や訓練の発散を防ぐ。
• 計算コストの増加を最小限に抑えながら、高次元かつ大規模なデータセットにおいて安定的で頑健な特徴量マッチングを実現する手法を開発する。
• 画像生成、顔合成、画像変換を含む多様なGANアーキテクチャおよびタスクにおいて、訓練収束性とサンプル品質の向上を図る。

提案手法

• 最近の訓練履歴から得られる、実サンプルおよび偽サンプルを含む特徴量プロトタイプの動的で移動平均型の辞書を構築する。
• ディスクラミネーターからの連続的特徴量マップを、進化する辞書からの離散トークンに量子化し、特徴量を共有の離散表現にマッピングする。
• 量子化された特徴量を敵対的損失の根拠として用い、コンパクトで安定した空間における暗黙の特徴量マッチングを実現する。
• 最小限のアーキテクチャ変更と無視できる計算コストで、既存のGANディスクラミネーターにFQモジュールを統合する。
• 指数的移動平均による更新により、辞書の整合性を維持し、現在のデータ分布と整合させる。
• BigGAN、StyleGAN、StyleGAN2、U-GAT-ITを含む複数のGANバリアントにFQモジュールを適用し、ハイパーパramータのチューニングを一切不要とする。

実験結果

リサーチクエスチョン

• RQ1 非定常なミニバッチ統計に起因する不安定性を軽減するため、共有の離散空間への特徴量量子化がGAN訓練を安定化させ得るか？
• RQ2 特徴量プロトタイプの動的で移動平均型の辞書を用いることで、高次元かつ大規模なデータセットにおける特徴量マッチングの頑健性が向上するか？
• RQ3 FQは既存のGANモデルにアーキテクチャの変更なしに普遍的に適用可能であり、訓練の安定性と生成品質を向上させ得るか？
• RQ4 FQは画像生成、顔合成、画像変換を含む多様なGANタスクにおいて、どの程度サンプル品質と収束速度を向上させるか？
• RQ5 FQはImageNet、FFHQ、画像変換データセットなどの標準ベンチマークで最先端の性能を達成するか？

主な発見

• FQ-GANは9つのベンチマークすべてでFIDスコアを大幅に改善し、1つを除くすべてのデータセットで新たな最先端性能を達成した。
• FFHQデータセットでは、FQ-StyleGAN2がFID 3.19を達成し、標準的なStyleGAN2の報告値3.31を上回った。
• FQはすべての5つの画像変換データセットでU-GAT-ITを向上させ、最高のKIDスコアを記録し、人間の好み評価でも優れた結果を示した（例：selfie2animeで78％の好まれる割合）。
• ImageNetにおけるBigGANのFQバージョンは、新たな最先端FIDスコアを達成し、多様なアーキテクチャおよびタスクにわたり一貫した向上を示した。
• 定性的な結果から、FQは一貫性があり意味的に意味のある辞書項目（例：空、草、鳥の首）が複数の画像に再利用されることにより、よりシャープな画像領域を生成することがわかった。
• 本手法により収束が速くなり、訓練がより安定するようになった。これは、ディスクラミネーターの特徴量マッチングがミニバッチの分散にあまり依存しなくなったためである。