[論文レビュー] Mimicry: Towards the Reproducibility of GAN Research

Kwot Sin Lee, Christopher Town|arXiv (Cornell University)|May 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 40被引用数 18

ひとこと要約

この論文では、最新のGANと評価指標の標準化された実装を提供することで、再現性のあるGAN研究を可能にする軽量なPyTorchライブラリ「Mimicry」を紹介する。同じトレーニングおよび評価手順を用いて7つのデータセットで一貫性があり透明性のあるベースラインスコアを提供し、公平な比較を保証するとともに、先行研究における不一致な実装への依存を軽減する。

ABSTRACT

Advancing the state of Generative Adversarial Networks (GANs) research requires one to make careful and accurate comparisons with existing works. Yet, this is often difficult to achieve in practice when models are often implemented differently using varying frameworks, and evaluated using different procedures even when the same metric is used. To mitigate these issues, we introduce Mimicry, a lightweight PyTorch library that provides implementations of popular state-of-the-art GANs and evaluation metrics to closely reproduce reported scores in the literature. We provide comprehensive baseline performances of different GANs on seven widely-used datasets by training these GANs under the same conditions, and evaluating them across three popular GAN metrics using the same procedures. The library can be found at https://github.com/kwotsin/mimicry.

研究の動機と目的

• 異なるコードベース間での不一致な実装、トレーニング手順、評価手法によるGAN研究における再現性の欠如を是正すること。
• 人気のあるGANアーキテクチャのトレーニングと評価を標準化する、統合的で軽量なPyTorchライブラリを提供すること。
• 同一のハイパーパramータと評価プロトコルを用いて、複数のデータセットと指標で最先端GANの透明性があり一貫性のあるベースラインパフォーマンススコアを提供すること。
• 事前学習済みモデルと再利用可能なコードベースを提供することで、研究者の負担を軽減すること。
• FIDとISに加えてKIDといった偏りのない指標を用いることで、GANモデル間の比較をより公平に行うこと。

提案手法

• 6つの人気のあるGAN（DCGAN、WGAN-GP、SNGAN、cGAN-PD、SSGAN、InfoMax-GAN）を、ジェネレータとディスクラミネータの共通ベースクラスを持つモジュラーでオブジェクト指向の設計で実装する。
• すべてのモデルが7つのデータセット全体で同一の設定でトレーニングされ、固定されたハイパーパramータ、最適化手法設定、および1回のジェネレータステップあたりのトレーニングイテレーションが使用される。
• 評価には3つの指標（Inception Score (IS)、Fréchet Inception Distance (FID)、Kernel Inception Distance (KID)）を用い、標準化されたサンプルサイズとスプリット数で計算される。
• KIDは分布差の不偏推定が可能であり、FIDよりも信頼性が高いため、モデル比較における公平性を向上させる代替指標として用いられる。
• トレーニングパイプラインは、モデルの構築、最適化、チェックポイントの管理を担当するTrainerオブジェクトによって管理され、さまざまなデータセットサイズと解像度をサポートする。
• 事前学習済みチェックポイントを含むモデルズーを提供することで、再現性の確保と迅速なベンチマークの実施を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準化されたライブラリは、異なる研究グループ間でのGAN実装や評価の不一致を軽減できるか？
• RQ2 トレーニング手順、フレームワーク、評価プロトコルの違いによって、報告されたGANスコアはどの程度変動するか？
• RQ3 多様なデータセット上で、同一のトレーニングおよび評価条件の下で、異なるGANアーキテクチャはどのように比較されるか？
• RQ4 KIDのような偏りのない指標は、FIDに比べてGANベンチマークにおいてより信頼性が高く公平な比較を可能にするか？
• RQ5 同一のハイパーパramータを用いた統合的で一貫性のあるコードベースは、透明性があり再現可能なベースラインパフォーマンス報告を可能にするか？

主な発見

• cGAN-PDモデルは、条件付きラベルの使用により、全データセットで最高のパフォーマンスを発揮し、無条件GANを一貫して上回る。
• SSGANとInfoMax-GANはSNGANのベースラインを上回るが、特に高解像度のCelebAではSSGANがSNGANに比べて性能を発揮しない一方で、InfoMax-GANは顕著な向上を示す。
• CIFAR-10ではDCGANがFID 28.95±0.42を達成し、報告値の28.12に近く、実装の再現性を裏付ける。
• 32×32解像度のImageNetでは、最高のFIDスコアは8.97±0.12であり、全GANが3つのランダムシードで安定的かつ一貫性のあるパフォーマンスを示す。
• KIDを指標として用いることで、不偏推定が可能となり、FIDと強い相関を示すため、公平なモデル比較のための採用が支持される。
• 7つのデータセットで一貫性のあるトレーニングおよび評価プロトコルを用いてベースライン結果を提供し、GANパフォーマンスの直接的かつ透明な比較を可能にする。