[論文レビュー] Investigating Under and Overfitting in Wasserstein Generative Adversarial Networks

Ben Adlam, Charles Weill+1 more|arXiv (Cornell University)|Oct 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 9

ひとこと要約

この論文は、生成器の汎化を測るために補助的かつ独立した識別器を導入することで、Wasserstein GANにおけるアンダーフィットとオーバーフィットを調査する。生成器の品質は識別器の容量に強く依存しており、識別器がアンダーフィットしているときでさえも生成器にオーバーフィットの兆候が見られず、劣悪な識別器の汎化性能が生成器の性能を低下させないことが示唆される。

ABSTRACT

We investigate under and overfitting in Generative Adversarial Networks (GANs), using discriminators unseen by the generator to measure generalization. We find that the model capacity of the discriminator has a significant effect on the generator's model quality, and that the generator's poor performance coincides with the discriminator underfitting. Contrary to our expectations, we find that generators with large model capacities relative to the discriminator do not show evidence of overfitting on CIFAR10, CIFAR100, and CelebA.

研究の動機と目的

• Wasserstein GANにおけるモデル容量と汎化が生成器の品質に与える影響を調査すること。
• 生成器とは独立して見ることのできない識別器を用いて、GANにおけるオーバーフィットとアンダーフィットを測定すること。
• 識別器が汎化に失敗した場合に生成器の性能が低下するかどうかを評価すること。
• CIFAR10、CIFAR100、CelebAにおける識別器の発散、FID、および実際の生成器品質の相関関係を評価すること。

提案手法

• 生成器とは独立して学習される補助識別器を導入し、実データと生成データの発散を測定することで、元の識別器とは独立した生成器の発散を測定する。
• 固定されたアーキテクチャ（64チャネル）を持つ独立した識別器を導入し、生成器および識別器の異なるモデル容量における汎化性能を評価する。
• これらの識別器が測定する実データと生成データの発散を、モデル品質の代理指標として用いる。
• FIDを標準指標として用い、識別器ベースの発散測定の信頼性を検証する。
• 訓練集合とテスト集合の発散を比較することで、生成器および識別器におけるオーバーフィットの有無を検出する。
• 各識別器タイプについて、訓練集合とテスト集合の発散値の差異を分析することで、汎化ギャップを評価する。

実験結果

リサーチクエスチョン

• RQ1 識別器がアンダーフィットし、テスト集合への汎化に失敗している場合、生成器はオーバーフィットするか？
• RQ2 生成器と識別器の相対的なモデル容量が、生成器の品質および汎化性能にどのように影響するか？
• RQ3 補助的および独立した識別器は、FIDと相関する信頼性の高い生成器性能の測定値を提供できるか？
• RQ4 識別器が過大パラメータ化または過小パラメータ化されている場合、生成器にオーバーフィットの兆候が見られるか？
• RQ5 元の識別器が測定する発散と、補助的および独立した識別器が測定する発散は、実際のモデル品質とどの程度相関するか？

主な発見

• 生成器のモデル品質は識別器のモデル容量に強く依存しており、識別器が十分に複雑である場合に良好な性能が得られる。
• 元の識別器はしばしば汎化に失敗し、訓練集合とテスト集合の間で大きなまたは一貫性のない汎化ギャップを示すが、生成器の性能は依然として良好である。
• 独立した識別器やFIDを用いて評価しても、元の識別器がアンダーフィットしている場合でさえも、生成器にオーバーフィットの兆候は観察されない。
• 補助的および独立した識別器は一貫した低汎化ギャップを示し、CIFAR10およびCIFAR100ではFIDと強く相関する。
• CelebAでは、独立した識別器の発散は識別器チャネル数の増加に伴い減少し、安定した汎化ギャップを維持する。
• 元の識別器が測定する発散は生成器品質と相関しないが、補助的および独立した識別器は相関を示すため、モデル評価のためのより信頼性の高い代理指標であると示唆される。