[论文解读] Detecting Overfitting of Deep Generative Networks via Latent Recovery

R. L. Webster, Julien Rabin+2 more|arXiv (Cornell University)|Jan 9, 2019

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 12

一句话总结

该论文提出一种潜在空间恢复方法，通过优化最接近的潜在码来检测深度生成模型中的过拟合现象，该潜在码能重建给定图像。使用LBFGS结合欧氏距离或感知损失，结果表明：成功恢复表示模型存在记忆化现象；在数据足够多时，GLO和CGAN等模型未表现出过拟合；而无法恢复生成图像则暗示潜在空间结构复杂，存在局部极小值。

ABSTRACT

State of the art deep generative networks are capable of producing images with such incredible realism that they can be suspected of memorizing training images. It is why it is not uncommon to include visualizations of training set nearest neighbors, to suggest generated images are not simply memorized. We demonstrate this is not sufficient and motivates the need to study memorization/overfitting of deep generators with more scrutiny. This paper addresses this question by i) showing how simple losses are highly effective at reconstructing images for deep generators ii) analyzing the statistics of reconstruction errors when reconstructing training and validation images, which is the standard way to analyze overfitting in machine learning. Using this methodology, this paper shows that overfitting is not detectable in the pure GAN models proposed in the literature, in contrast with those using hybrid adversarial losses, which are amongst the most widely applied generative methods. The paper also shows that standard GAN evaluation metrics fail to capture memorization for some deep generators. Finally, the paper also shows how off-the-shelf GAN generators can be successfully applied to face inpainting and face super-resolution using the proposed reconstruction method, without hybrid adversarial losses.

研究动机与目标

• 检测生成对抗网络（GANs）和变分自编码器（VAEs）等深度生成模型中的过拟合现象。
• 开发一种可靠方法，通过从生成图像或真实图像中恢复潜在码来识别记忆化行为。
• 评估不同优化算法和损失函数下潜在恢复的稳定性与收敛性。
• 分析图像局部区域（如眼睛和嘴巴）是否存在局部过拟合现象。
• 量化恢复成功率与失败模式，尤其针对MESCH等高失败率架构。

提出的方法

• 通过LBFGS优化潜在码z，最小化目标损失||G(z) - y||²，其中y为目标图像，实现对目标图像的重建。
• 使用掩码算子φ隔离局部图像区域（如眼睛、嘴巴），以进行局部区域的恢复分析。
• 比较不同损失函数（L2（欧氏距离）、L1（曼哈顿距离）和基于VGG的感知损失）下的恢复性能。
• 设定阈值（生成图像MSE < 0.025，真实图像MSE < 0.1）以定义恢复成功。
• 利用100次迭代中恢复误差中位数（MRE）的收敛曲线，比较LBFGS、SGD和Adam的优化稳定性。
• 每张图像重复10次优化重启，以评估因初始化不佳导致的失败，尤其针对如MESCH等不稳定架构。

Figure 1: Visual results on training images recovery with a masking operator on right eyes (using LBFGS and Euclidean objective loss, and PGGAN generator). First row: target (real) images $y_{i}$ . First column: initialization. Second column: optimization after 100 iterations. Recovery is more consi

实验结果

研究问题

• RQ1 潜在恢复能否在MNIST和CIFAR-10上检测DCGAN、GLO和CGAN等深度生成模型的记忆化现象？
• RQ2 即使全局过拟合不存在，图像局部区域（如眼睛、嘴巴）是否仍会发生局部过拟合？
• RQ3 不同损失函数（L2、L1、感知损失）如何影响潜在恢复的稳定性和收敛性？
• RQ4 为何某些模型（如LSUN Bedroom上的PGGAN）无法恢复其自身生成的图像？
• RQ5 初始化不佳在多大程度上导致恢复失败？重启机制能否缓解此问题？

主要发现

• 在MNIST和CIFAR-10上，GLO和CGAN模型未表现出可检测的记忆化现象（GLO-1024的KS p值 = 0.00e+00），表明在数据充足时未出现过拟合。
• 使用PGGAN对眼睛和嘴巴区域进行局部恢复，KS p值分别为0.0545和0.6918，表明局部过拟合程度极低。
• 感知损失（VGG-19）会降低高保真度生成器的优化稳定性，导致收敛更慢，恢复效果劣于L2损失。
• MESCH生成器的恢复成功率较低（68%），但通过10次随机重启后显著提升至98%，表明失败源于初始化问题而非模型能力不足。
• LBFGS的收敛速度显著快于SGD和Adam，在大多数情况下于50次迭代内即可实现MRE < 0.024。
• 无法恢复生成图像（如LSUN Bedroom上的PGGAN）表明潜在流形结构复杂，存在大量局部极小值，而不仅仅是优化问题。

(a) Eye patch recovery error.