[論文レビュー] Detecting Overfitting of Deep Generative Networks via Latent Recovery

R. L. Webster, Julien Rabin+2 more|arXiv (Cornell University)|Jan 9, 2019

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 12

ひとこと要約

本稿では、与えられた画像を再構成する最近接の潜在コードを最適化することで、深層生成モデルにおける過学習を検出する潜在回復手法を提案する。LBFGSを用い、ユークリッド距離または知覚的損失を用いることで、成功した回復は記憶化（memorization）を示す。GLO や CGAN は十分なデータがあれば過学習を示さないが、生成画像の回復に失敗する場合、局所的最小値を有する複雑で非自明な潜在空間であると示唆される。

ABSTRACT

State of the art deep generative networks are capable of producing images with such incredible realism that they can be suspected of memorizing training images. It is why it is not uncommon to include visualizations of training set nearest neighbors, to suggest generated images are not simply memorized. We demonstrate this is not sufficient and motivates the need to study memorization/overfitting of deep generators with more scrutiny. This paper addresses this question by i) showing how simple losses are highly effective at reconstructing images for deep generators ii) analyzing the statistics of reconstruction errors when reconstructing training and validation images, which is the standard way to analyze overfitting in machine learning. Using this methodology, this paper shows that overfitting is not detectable in the pure GAN models proposed in the literature, in contrast with those using hybrid adversarial losses, which are amongst the most widely applied generative methods. The paper also shows that standard GAN evaluation metrics fail to capture memorization for some deep generators. Finally, the paper also shows how off-the-shelf GAN generators can be successfully applied to face inpainting and face super-resolution using the proposed reconstruction method, without hybrid adversarial losses.

研究の動機と目的

• GAN や VAE などの深層生成モデルにおける過学習を検出すること。
• 生成画像または実画像から潜在コードを回復することで、記憶化の特定を可能にする信頼性の高い手法の開発。
• 異なる最適化アルゴリズムと損失関数における潜在回復の安定性と収束性の評価。
• 局所的な過学習（例：目や口など画像の領域）が発生するかどうかの分析。
• 回復成功率と失敗モードの定量的評価、特に高い失敗率を示す MESCH アーキテクチャについて。

提案手法

• 生成関数 G と目標画像 y を用いて、潜在コード z を LBFGS で最適化し、目的損失 ||G(z) - y||² を最小化することで、ターゲット画像の再構成を実行する。
• 局所的な画像領域（例：目、口）を分離するためのマスキング演算子 φ を用い、パッチレベルの回復分析を実施する。
• L2（ユークリッド距離）、L1（マンハッタン距離）、VGGベースの知覚的損失の3つの損失関数の性能を比較する。
• 成功した回復を定義するため、生成画像では MSE < 0.025、実画像では MSE < 0.1 の閾値を適用する。
• 100イテレーションにわたる中央値回復誤差（MRE）の収束曲線を用い、LBFGS、SGD、Adam の最適化安定性を比較する。
• 1枚の画像に対して最適化を10回再起動することで、初期化が悪いための失敗を評価し、特に安定性が低いアーキテクチャ（例：MESCH）に注目する。

Figure 1: Visual results on training images recovery with a masking operator on right eyes (using LBFGS and Euclidean objective loss, and PGGAN generator). First row: target (real) images $y_{i}$ . First column: initialization. Second column: optimization after 100 iterations. Recovery is more consi

実験結果

リサーチクエスチョン

• RQ1 潜在回復は、MNIST や CIFAR-10 における DCGAN、GLO、CGAN のような深層生成モデルの記憶化を検出できるか？
• RQ2 グローバルな過学習が存在しない場合でも、局所的な画像パッチ（例：目、口）に過学習が生じるか？
• RQ3 L2、L1、知覚的損失といった異なる損失関数は、潜在回復の安定性と収束性にどのように影響するか？
• RQ4 PGGAN が LSUN Bedroom で自身の生成画像を回復できないのはなぜか？
• RQ5 悪い初期化は回復失敗にどの程度寄与しており、再起動によってその影響を軽減できるか？

主な発見

• MNIST および CIFAR-10 において、GLO と CGAN モデルは検出可能な記憶化を示さない（GLO-1024 の KS p値 = 0.00e+00）ことから、十分なデータがあれば過学習が発生しないことが示された。
• PGGAN を用いた目や口のパッチレベルの回復では、KS p値がそれぞれ 0.0545 および 0.6918 であり、局所的過学習は最小限であると示唆された。
• 知覚的損失（VGG-19）は、高品質な生成器では最適化の安定性を損なうため、L2 損失に比べて収束が遅く、回復性能も劣ることがわかった。
• MESCH 生成器は回復成功率が低く（68%）あるが、10回のランダム再起動により 98% まで向上し、失敗はモデルの能力不足ではなく初期化の問題によることが示された。
• LBFGS は SGD や Adam よりも著しく高速に収束し、大多数のケースで 50イテレーション以内に MRE < 0.024 を達成した。
• 生成画像の回復に失敗する（例：LSUN Bedroom における PGGAN）ことは、単なる最適化の問題ではなく、多数の局所的最小値を有する複雑な潜在多様体が存在することを示唆している。

(a) Eye patch recovery error.