[論文レビュー] Small-GAN: Speeding Up GAN Training Using Core-sets

Samarth Sinha, Han Zhang+4 more|arXiv (Cornell University)|Oct 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 69被引用数 33

ひとこと要約

コアセットベースのサンプリングを提案し、大規模バッチの GAN 訓練を模倣する方法。複数の GAN バリアントとデータセットで同等以上の性能を保ちつつ、訓練をより速く実現。

ABSTRACT

Recent work by Brock et al. (2018) suggests that Generative Adversarial Networks (GANs) benefit disproportionately from large mini-batch sizes. Unfortunately, using large batches is slow and expensive on conventional hardware. Thus, it would be nice if we could generate batches that were effectively large though actually small. In this work, we propose a method to do this, inspired by the use of Coreset-selection in active learning. When training a GAN, we draw a large batch of samples from the prior and then compress that batch using Coreset-selection. To create effectively large batches of 'real' images, we create a cached dataset of Inception activations of each training image, randomly project them down to a smaller dimension, and then use Coreset-selection on those projected activations at training time. We conduct experiments showing that this technique substantially reduces training time and memory usage for modern GAN variants, that it reduces the fraction of dropped modes in a synthetic dataset, and that it allows GANs to reach a new state of the art in anomaly detection.

研究の動機と目的

• GAN 訓練における大規模ミニバッチの利用を動機づけ、それに伴う計算的ボトルネックに対処する。
• 大型バッチと同じモードをカバーする小さなバッチを作成するためのコアセットサンプリングを導入する。
• 事前サンプルと高レベル埋め込みの両方を操作することで、GAN に対してコアセットサンプリングを実用的にする。
• 複数のGANバリアントとデータセット（CIFAR、LSUN、ImageNet）および異常検知において手法の有効性を実証する。
• コアセット拡張が訓練時間とメモリ使用量を削減しつつ、性能指標を改善または一致させることを示す。

提案手法

• prior から大規模バッチ n をサンプルし、コアセット選択を実行して小さなバッチ k を得る。
• Core-set 選択の前に、Inception 埋め込みを計算してターゲットデータを前処理し、次元を減らすためにランダム射影を適用する。
• 代表点を選択するための効率的な近似コアセットサンブラーとして、貪欲な k-center アルゴリズムを使用する。
• prior と target (embedding) 分布の両方にコアセットサンプリングを適用して、実質的に大規模なバッチを作成する。
• 標準の目的でGANを訓練するが、ランダムミニバッチの代わりにコアセット由来のバッチを用いる。
• ランタイムのコアセット決定を高速化するため、埋め込みデータセットをキャッシュとして保持する。

実験結果

リサーチクエスチョン

• RQ1 計算量を削減しつつ、コアセットサンプリングはGAN訓練における大規模バッチのカバレッジを再現できるか。
• RQ2 実質的なバッチサイズが小さい場合に、Small-GANはFID、モードカバレッジ、異常検知指標などのGANパフォーマンスを改善または維持するか。
• RQ3 本手法はGANバリアント（SN-GAN、SAGAN）およびデータセット（CIFAR、LSUN、ImageNet）全般で頑健か。

主な発見

• Core-set sampling は固定バッチサイズで CIFAR および LSUN において複数の GAN バリアントの FID スコアを改善する。
• モードドロップを削減し、モードカバレッジの改善を示す。
• Core-set augmented GANs は MEG ベースの実験で異常検知結果を改善する。
• タイミング分析では、コアセットサンプリングの実行に対してわずかなオーバーヘッド（約0.024秒/勾配ステップ）を示す。
• ImageNet で SAGAN を用いた場合、コアセットサンプリングで FID が 19.40 から 17.33 に改善。
• データセット全体で、実バッチサイズを大きくすると同様の改善が得られるが、コアセットサンプリングは資源の増加を伴わずに利得を提供する。