[論文レビュー] Regularizing Generative Adversarial Networks under Limited Data

Hung-Yu Tseng, Lu Jiang+3 more|arXiv (Cornell University)|Apr 7, 2021

Generative Adversarial Networks and Image Synthesis参考文献 80被引用数 11

ひとこと要約

本論文は、限られたデータでの生成対抗ネットワーク（GAN）の訓練において、実画像と生成画像の予測の整合性を、判別器出力とその移動平均値のℓ₂ノルムによって強制することで、新たな正則化手法を提案する。この手法は訓練を安定化させ、一般化性能を向上させ、データ増強を組み合わせることで、10% ImageNetで最先端のFIDスコア（例：21.70）を達成する。

ABSTRACT

Recent years have witnessed the rapid progress of generative adversarial networks (GANs). However, the success of the GAN models hinges on a large amount of training data. This work proposes a regularization approach for training robust GAN models on limited data. We theoretically show a connection between the regularized loss and an f-divergence called LeCam-divergence, which we find is more robust under limited training data. Extensive experiments on several benchmark datasets demonstrate that the proposed regularization scheme 1) improves the generalization performance and stabilizes the learning dynamics of GAN models under limited training data, and 2) complements the recent data augmentation methods. These properties facilitate training GAN models to achieve state-of-the-art performance when only limited training data of the ImageNet benchmark is available.

研究の動機と目的

• 限られた学習データしかない状況での堅牢なGANの訓練という課題に対処すること。
• 特に高容量モデルにおいて、データが不足する状況下でのGANの一般化性能と訓練の安定性を向上させること。
• 既存のデータ増強技術と概念的・実証的に補完的であるモデル正則化アプローチを開発すること。
• 理論的に、この正則化を限られたデータ下でより頑健なf-発散（LeCam発散）にリンクさせること。

提案手法

• 実画像に対する現在の判別器出力と、生成画像の過去の予測の移動平均値とのℓ₂差をペナルティとする正則化損失を導入する。
• 逆方向にも同じ正則化を適用：生成画像の現在の予測と、過去の実画像予測の移動平均値との差をペナルティとする。
• 理論的分析により、この正則化が、弱い仮定の下でWGANの目的関数をLeCam発散を最小化する方向へ変換することを示す。
• 正則化は判別器の訓練中に適用され、さまざまなGANアーキテクチャーや損失関数と互換性がある。
• 履歴予測を追跡し、整合性を強制するために、適応的移動平均（α_R と α_F）を用いる。
• 負の発散や性能の低下を避けるために、正則化強度λを妥当な範囲（例：[0.1, 0.5]）でチューニングする。

実験結果

リサーチクエスチョン

• RQ1 データ増強とは独立して、モデル正則化アプローチが限られた学習データ下でのGANの一般化性能を向上させられるか？
• RQ2 データが不足する状況下で、提案された正則化がGANの訓練ダイナミクスを安定化させるか？
• RQ3 この正則化手法は、既存のデータ増強技術と組み合わせて、GANの性能向上に補完的か？
• RQ4 LeCam発散への理論的関連性が、限られたデータ下での改善された頑健性を説明できるか？

主な発見

• データ増強を組み合わせた場合、10% ImageNetではFIDスコアが10.9ポイント向上し、最先端のFID 21.70を達成した。
• CIFAR-10で20%のデータを使用した場合、両方の画像（実画像と生成画像）の予測を正則化することで、FIDはベースラインの21.86から15.27に低下した。
• この手法は、過学習が顕著になる大規模モデルで最も効果的であり、容量の高いアーキテクチャに強い正則化効果があることを示している。
• 正則化により、データが不足する状況下でも、実画像と生成画像のスコアの乖離を防ぐことで、判別器の予測が安定化した。
• 完全にラベル付けされたデータセットでデータ増強の性能が低下しても、この手法は依然として有効であり、同様の性能低下を回避していることが示唆された。
• アブレーションスタディにより、実画像と生成画像の両方の予測を正則化することが最良のパフォーマンスをもたらし、単一の項での正則化を上回ることが確認された。