[論文レビュー] Ensembles of Generative Adversarial Networks

Yaxing Wang, Lichao Zhang+1 more|arXiv (Cornell University)|Dec 3, 2016

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 40

ひとこと要約

本論文は、同一の初期化から出発するが異なる学習イテレーションで訓練された複数の生成モデルを組み合わせることで、データ分布のモデリングを向上させる自己アンサンブル（seGANs）を提案する。この手法は、標準的なアンサンブル（eGANs）と同等の性能を達成するが、計算コストを著しく低減し、CIFAR-10における画像検索の平均最近傍距離を40%削減する。

ABSTRACT

Ensembles are a popular way to improve results of discriminative CNNs. The combination of several networks trained starting from different initializations improves results significantly. In this paper we investigate the usage of ensembles of GANs. The specific nature of GANs opens up several new ways to construct ensembles. The first one is based on the fact that in the minimax game which is played to optimize the GAN objective the generator network keeps on changing even after the network can be considered optimal. As such ensembles of GANs can be constructed based on the same network initialization but just taking models which have different amount of iterations. These so-called self ensembles are much faster to train than traditional ensembles. The second method, called cascade GANs, redirects part of the training data which is badly modeled by the first GAN to another GAN. In experiments on the CIFAR10 dataset we show that ensembles of GANs obtain model probability distributions which better model the data distribution. In addition, we show that these improved results can be obtained at little additional computational cost.

研究の動機と目的

• 単一のGANよりも、GANのアンサンブルが真のデータ分布をよりよくモデリングできるかどうかを調査すること。
• GANの収束しない学習ダイナミクスを考慮した、計算効率の良いアンサンブル戦略を探索すること。
• 同じ初期化から得られるが異なる学習段階でのモデル（自己アンサンブル）が、標準的なアンサンブルと同等の性能を達成できるかどうかを評価すること。
• poorly モデル化されたデータ領域を再訓練する仕組みを持つキャスケード GAN（cGANs）が、生成品質を向上させるかを評価すること。
• 画像検索指標を用いた定量的評価フレームワークを、生成モデルの品質評価に提供すること。

提案手法

• 同一の初期化から出発するが異なる学習イテレーション（例：30〜40エポック）で訓練された生成モデルを組み合わせることで、自己アンサンブル（seGANs）を提案する。
• 標準的なアンサンブル（eGANs）をベースラインとして、同じデータセットに対して異なるランダム初期化から複数の GAN を訓練する。
• 最初の GAN が誤分類または不適切に生成したサンプルを、2番目の GAN に再訓練用に再配分するキャスケード GAN（cGANs）を導入する。
• 画像検索を評価指標として用い、生成画像と実際のテスト画像との間の平均最近傍距離を測定する。
• 複数の生成モデル出力を確率平均化することで、より堅牢な1つのモデル分布を形成する。
• すべての手法において、公平な比較のため、生成画像の数を10,000枚に固定する。アンサンブルの構成時にも同様に適用する。

実験結果

リサーチクエスチョン

• RQ1 CIFAR-10において、GANのアンサンブルは単一の GAN よりも真のデータ分布をよりよくモデリングできるか？
• RQ2 自己アンサンブル（seGANs）は、標準的なアンサンブル（eGANs）と同等の性能を達成しながら、学習コストを削減できるか？
• RQ3 poorly モデル化されたデータ領域を再訓練するキャスケード GAN のアプローチは、標準的な GAN よりも生成品質を向上させるか？
• RQ4 キャスケード GAN において、性能向上に最適なデータ再配分比は何か？
• RQ5 画像検索指標は、分布の類似性という観点から、生成モデルの品質を信頼性を持って評価できるか？

主な発見

• 自己アンサンブル（seGANs）は、標準的なアンサンブル（eGANs）と同等の性能を達成し、単一の GAN と比較して平均最近傍距離を40%削減した。
• 最も優れたキャスケード GAN の性能は、データ再配分比0.8で達成され、単一の GAN や標準的なアンサンブルを大きく上回った。
• 8つのモデルを用いた seGANs では、平均最近傍距離が0.06%にまで低下し、単一 GAN の0.11%と比較して40%の改善が得られた。
• seGANs の性能はモデル数の増加に伴い向上するが、4〜8つのモデルの間で飽和し、それ以上はリターンが小さくなる傾向を示した。
• 視覚的例では、単一の GAN が失敗する状況でも、seGANs はクエリ画像に類似した画像を生成できることを示した。
• 画像検索指標は、信頼性のある評価ツールとして妥当であることが検証された。トレーニングセットの分布が、すべての生成モデルを上回る性能を示しており、分布の忠実度への感受性が確認された。