[論文レビュー] When, Why, and Which Pretrained GANs Are Useful?

Timofey Grigoryev, Andrey Voynov+1 more|arXiv (Cornell University)|Feb 17, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、事前学習されたGANが微調整に効果的であるタイミング、理由、およびその要因を調査し、事前学習された生成器がモードカバレッジを向上させ、判別器が勾配場をガイドする役割を果たすことが示された。これにより、多様性が向上する。ImageNetで事前学習されたGAN—視覚的品質が低いにもかかわらず—微調整の出発点として最適であることが実証され、最良のチェックポイントを自動で選択するためのリコールに基づく指標が提案された。

ABSTRACT

The literature has proposed several methods to finetune pretrained GANs on new datasets, which typically results in higher performance compared to training from scratch, especially in the limited-data regime. However, despite the apparent empirical benefits of GAN pretraining, its inner mechanisms were not analyzed in-depth, and understanding of its role is not entirely clear. Moreover, the essential practical details, e.g., selecting a proper pretrained GAN checkpoint, currently do not have rigorous grounding and are typically determined by trial and error. This work aims to dissect the process of GAN finetuning. First, we show that initializing the GAN training process by a pretrained checkpoint primarily affects the model's coverage rather than the fidelity of individual samples. Second, we explicitly describe how pretrained generators and discriminators contribute to the finetuning process and explain the previous evidence on the importance of pretraining both of them. Finally, as an immediate practical benefit of our analysis, we describe a simple recipe to choose an appropriate GAN checkpoint that is the most suitable for finetuning to a particular target task. Importantly, for most of the target tasks, Imagenet-pretrained GAN, despite having poor visual quality, appears to be an excellent starting point for finetuning, resembling the typical pretraining scenario of discriminative computer vision models.

研究の動機と目的

• 事前学習モデルを用いたGAN微調整の成功要因を、特にデータ量が少ない状況において解明すること。
• 事前学習された生成器と判別器が、モデルのカバレッジと一般化性能を向上させるにあたり果たす役割の違いを明確にすること。
• 現在は試行錯誤に依存しているが、事前学習GANチェックポイントの選定基準が不十分であるという問題に取り組むこと。
• 与えられたターゲットデータセットに対して最も適した事前学習GANチェックポイントを自動的に選択する実用的で自動化された手法を提供すること。
• 視覚的品質が低いにもかかわらず、ImageNetで事前学習されたGANが微調整において極めて有効であることを実証すること。これは、識別モデルの事前学習実践と類似している。

提案手法

• 合成データおよび実データを用いた実験を通じて、事前学習GANチェックポイントがカバレッジと忠実度に与える影響を分析する。
• 微調整中の事前学習生成器（モードカバレッジ）と判別器（勾配場のガイド）の寄与を分解する。
• FID、KID、Precision、Recallに基づく代理指標を提案し、転移学習におけるソースデータセットの類似度を評価する。
• 指標計算の代替として、実際のソースデータに代わる、事前学習モデルから生成されたサンプルを実用的に用いる。
• 複数のターゲットデータセットにおいて、各指標が最良のチェックポイント（FIDが最小）を特定する能力を比較することで、指標の予測性能を評価する。
• StyleGAN2を用いた実験を通じて、ImageNetベースのチェックポイントを含む多様な事前学習チェックポイントの有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 事前学習チェックポイントを用いてGAN学習を初期化すると、モデルのカバレッジと個々の生成サンプルの忠実度にどのような影響を与えるか？
• RQ2 事前学習生成器と判別器が、微調整性能の向上に果たす具体的な役割は何か？
• RQ3 GAN微調整において、生成器と判別器の両方を初期化することがなぜ有益なのか？
• RQ4 リコールやその他の分布的指標は、ターゲットデータセットに対して最適な事前学習GANチェックポイントを信頼性を持って予測できるか？
• RQ5 視覚的品質が低いにもかかわらず、ImageNetで事前学習されたGANは微調整の出発点として優れているのか？

主な発見

• 事前学習GANチェックポイントは、主に生成サンプルの忠実度ではなく、モデルのカバレッジを向上させることで効果を発揮する。
• 事前学習生成器は、ターゲット分布の複数のモードをカバーすることで初期の多様性を保証するが、事前学習判別器は正しいモードへ向かう勾配場を提供することでサンプルの方向性をガイドする。
• 生成器と判別器の両方を初期化することで、より良いモードカバレッジが得られ、モード崩壊のリスクも低減される。これは、フルモデル事前学習の実証的成果を説明する。
• ほとんどのターゲットタスクにおいて、ImageNetで事前学習されたGANが微調整の出発点として最適であり、生成サンプルの視覚的品質が低いにもかかわらずそうである。
• リコール指標は微調整の成功を信頼性高く予測できるため、最良の事前学習チェックポイントの自動選択を支援でき、FIDやPrecisionよりもこの目的で優れている。
• StyleGAN2を用いた実験では、ImageNetベースの事前学習が、FIDスコア（例：L. Bedroomでは2.56 vs. 2.97）を低く抑え、画像再構成性能（LPIPSとFエラーが低い）も向上させ、実用的優位性を確認した。