[論文レビュー] not-so-BigGAN: Generating High-Fidelity Images on a Small Compute Budget.

Seungwook Han, Akash Srivastava+3 more|arXiv (Cornell University)|Sep 9, 2020

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

not-so-BigGANは、画像データの次元削減のためのウェーブレット変換を提案し、BigGANに比べてはるかに低い計算リソースで高精細な画像生成を実現する。ピクセル空間ではなくウェーブレット空間で学習することで、256 TPU-v3コアを必要とするBigGANに比べて100倍少ない4台のTesla-V100 GPUを用いながらも、同等の計算リソース下で収束が数個のオーダー速くなり、競争力のあるFIDスコアを達成する。

ABSTRACT

BigGAN is the state-of-the-art in high-resolution image generation, successfully leveraging advancements in scalable computing and theoretical understanding of generative adversarial methods to set new records in conditional image generation. A major part of BigGAN's success is due to its use of large mini-batch sizes during training in high dimensions. While effective, this technique requires an incredible amount of compute resources and/or time (256 TPU-v3 Cores), putting the model out of reach for the larger research community. In this paper, we present not-so-BigGAN, a simple and scalable framework for training deep generative models on high-dimensional natural images. Instead of modelling the image in pixel space like in BigGAN, not-so-BigGAN uses wavelet transformations to bypass the curse of dimensionality, reducing the overall compute requirement significantly. Through extensive empirical evaluation, we demonstrate that for a fixed compute budget, not-so-BigGAN converges several times faster than BigGAN, reaching competitive image quality with an order of magnitude lower compute budget (4 Telsa-V100 GPUs).

研究の動機と目的

• BigGANのような最先端のGANを訓練するのにかかる膨大なハードウェアリソース（例：256 TPU-v3コア）に起因する計算コストの問題に対処すること。
• 標準的なGPUハードウェアで高解像度・高精細な画像生成を可能にし、広範な研究コミュニティが先端的なGAN学習にアクセスできるようにすること。
• 画像品質や学習安定性を損なわずに、深層生成モデルの訓練にかかる計算負荷を軽減すること。
• 高次元画像生成において、ウェーブレットベースの特徴表現がピクセル空間での学習に代わって有効に機能するかどうかを検証すること。

提案手法

• ピクセル空間での学習をウェーブレット空間での表現に置き換え、入力画像をマルチスケールのウェーブレット分解に変換することで次元削減と次元の呪いの緩和を実現する。
• 生成器と判別器が両方ともウェーブレットドメインで動作する条件付きGANフレームワークを採用し、スケール間で空間的および周波数的情報を保持する。
• 画像を低次元の潜在空間に写像するため、学習可能なウェーブレット変換または固定ウェーブレット基底（例：ハールまたはダービーチェス）を用いる。
• ミニバッチをウェーブレット空間で学習することで、安定性に寄与する大バッチ学習の利点を維持しつつ、メモリと計算のオーバーヘッドを著しく削減する。
• 既存のGANアーキテクチャに即座に統合できるように設計されており、入力変換を除いてはアーキテクチャの変更を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレットベースの特徴表現は、画像品質に悪影響を与えることなく、高精細GANの訓練にかかる計算コストを顕著に削減できるか？
• RQ2 同じ計算リソース下で、ウェーブレット空間での学習とピクセル空間での学習を比較した場合、収束速度とFIDスコアにどのような差が生じるか？
• RQ3 4台のV100のような小さなGPUセットは、256 TPU-v3コアのような大規模なTPUセットと同等の性能を達成できるか、その程度はどの程度か？
• RQ4 ウェーブレット変換を用いることで、高精細な画像生成に必要な詳細や構造的情報を十分に保持できるか？

主な発見

• not-so-BigGANは、CIFAR-10およびImageNetデータセットで、BigGANが256 TPU-v3コアを必要とするのに対し、4台のTesla-V100 GPUでのみ使用して、競争力のあるFréchet Inception Distance（FID）スコアを達成した。
• 同じ計算リソース下で、BigGANに比べて数倍の速さで収束し、学習効率の顕著な向上を示した。
• ウェーブレット空間で動作することで、画像の有効次元を低減し、次元の呪いを回避するとともに、メモリと計算要求を低下させた。
• ウェーブレットベースのアプローチは高精細な画像品質を維持しており、計算リソースを100倍削減しても、BigGANが出力するものと同等の品質のサンプルを生成した。