[论文解读] Adversarial Fisher Vectors for Unsupervised Representation Learning

Shuangfei Zhai, Walter Talbott+2 more|arXiv (Cornell University)|Oct 29, 2019

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出对抗性费雪向量（AFVs），一种利用生成对抗网络（GANs）的能量模型（EBM）解释来从判别器学习到的密度中提取有用、无监督表征的方法。通过从EBM中计算费雪得分与费雪信息，AFVs实现了在分类和感知相似性任务中的有效特征提取，在CIFAR-10上达到最先进性能，并提供了一种可靠的训练稳定性与过拟合监测指标。

ABSTRACT

We examine Generative Adversarial Networks (GANs) through the lens of deep Energy Based Models (EBMs), with the goal of exploiting the density model that follows from this formulation. In contrast to a traditional view where the discriminator learns a constant function when reaching convergence, here we show that it can provide useful information for downstream tasks, e.g., feature extraction for classification. To be concrete, in the EBM formulation, the discriminator learns an unnormalized density function (i.e., the negative energy term) that characterizes the data manifold. We propose to evaluate both the generator and the discriminator by deriving corresponding Fisher Score and Fisher Information from the EBM. We show that by assuming that the generated examples form an estimate of the learned density, both the Fisher Information and the normalized Fisher Vectors are easy to compute. We also show that we are able to derive a distance metric between examples and between sets of examples. We conduct experiments showing that the GAN-induced Fisher Vectors demonstrate competitive performance as unsupervised feature extractors for classification and perceptual similarity tasks. Code is available at \url{https://github.com/apple/ml-afv}.

研究动机与目标

• 通过深度能量模型（EBM）的视角重新诠释GAN，使判别器在收敛时能作为显式密度模型，而非常数函数。
• 从GAN的EBM公式中推导出费雪向量与费雪距离，用于无监督表征学习与相似性估计。
• 通过将生成器更新解释为近似随机梯度MCMC采样，提升GAN训练的稳定性。
• 在下游任务（如线性分类与感知相似性）中评估所学表征的实用性，展示在无标签数据下具有竞争力的性能。
• 提供一种可靠且可解释的训练监控指标，包括通过验证集相似性检测过拟合。

提出的方法

• 将GAN训练重新表述为深度EBM中的变分推断，其中判别器学习一个表示数据密度的未归一化能量函数。
• 从EBM的能量函数中推导出费雪得分与费雪信息，从而计算数据样本的归一化费雪向量（AFVs）。
• 利用费雪信息矩阵定义单个样本与样本集合之间的费雪距离度量，捕捉感知与结构相似性。
• 应用受MCMC启发的生成器更新目标，以强制生成样本的局部更新，提升训练稳定性和收敛性。
• 使用标准对抗损失训练GAN，同时计算AFVs以实现特征提取与模型监控。
• 将真实数据与生成数据批次之间的费雪距离作为泛化性的代理指标，在训练过程中检测过拟合。

实验结果

研究问题

• RQ1 训练后的GAN中，判别器能否被重新用作有意义的密度模型，而非常数函数？
• RQ2 从GAN的EBM公式中推导出的费雪向量能否作为分类与相似性任务的有效无监督表征？
• RQ3 监控真实数据与生成数据集之间的费雪距离是否能提供训练进展与过拟合的可靠指标？
• RQ4 将生成器更新解释为MCMC采样是否能提升训练稳定性和模型质量？
• RQ5 在标准基准测试中，AFVs与现有无监督特征提取器相比性能如何？

主要发现

• AFVs在CIFAR-10线性分类基准中达到无监督表征的最先进性能。
• 验证集与生成数据集之间的费雪距离与分类准确率强相关，并能检测过拟合，而Inception Score则无法捕捉此类趋势。
• 在训练过程中监控验证集费雪相似性可作为模型泛化能力的可靠指标，尤其在训练数据有限时表现更优。
• 采用受MCMC启发的生成器目标可使生成样本的更新更小、更稳定，并提升Inception Score，尤其在训练初期效果显著。
• 由学习到的密度模型诱导的相似性函数与人类对感知相似性的判断高度一致，优于标准度量指标。
• AFVs在特征提取与集合级相似性估计中均表现有效，展示了在多种下游任务中的实用性。