[论文解读] Is Discriminator a Good Feature Extractor?

Xin Mao, Zhaoyu Su+3 more|arXiv (Cornell University)|Dec 2, 2019

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 10

一句话总结

本文研究了生成对抗网络（GANs）中的判别器是否可作为迁移学习中的良好特征提取器。通过线性代数分析，研究发现判别器的特征质量并非源于其分类任务，而是源于其在GAN训练过程中防止模式崩溃的作用——从而产生稳健且抗噪的特征。研究发现，尽管当源任务与目标任务相似时，基于分类器的特征提取器通常优于基于判别器的提取器，但判别器在抑制噪声方面的独特能力使其在某些场景下不可替代。

ABSTRACT

The discriminator from generative adversarial nets (GAN) has been used by researchers as a feature extractor in transfer learning and appeared worked well. However, there are also studies that believe this is the wrong research direction because intuitively the task of the discriminator focuses on separating the real samples from the generated ones, making features extracted in this way useless for most of the downstream tasks. To avoid this dilemma, we first conducted a thorough theoretical analysis of the relationship between the discriminator task and the features extracted. We found that the connection between the task of the discriminator and the feature is not as strong as was thought, for that the main factor restricting the feature learned by the discriminator is not the task, but is the need to prevent the entire GAN model from mode collapse during the training. From this perspective and combined with further analyses, we found that to avoid mode collapse, the features extracted by the discriminator are not guided to be different for the real samples, but divergence without noise is indeed allowed and occupies a large proportion of the feature space. This makes the features more robust and helps answer the question as to why the discriminator can succeed as a feature extractor in related research. Consequently, to expose the essence of the discriminator extractor as different from other extractors, we analyze the counterpart of the discriminator extractor, the classifier extractor that assigns the target samples to different categories. We found the performance of the discriminator extractor may be inferior to the classifier based extractor when the source classification task is similar to the target task, which is the common case, but the ability to avoid noise prevents the discriminator from being replaced by the classifier.

研究动机与目标

• 解决关于GAN判别器在主要职责为区分真实样本与生成样本的情况下，是否仍能作为有效特征提取器的争议。
• 分析判别器特征在迁移学习中具有良好泛化能力的潜在机制，挑战‘任务对齐是关键因素’的假设。
• 在领域分布偏移情况下，比较基于判别器与基于分类器的特征提取器在性能与鲁棒性方面的差异。
• 揭示GAN训练中某一特定比例在防止模式崩溃中的作用，为GAN基础研究提供新见解。

提出的方法

• 对判别器的任务与其所学习特征之间的关系进行理论线性代数分析。
• 采用共享编码器框架，在MNIST与CIFAR-10数据集上对比判别器与分类器的特征提取器性能。
• 系统性地移除源网络与目标网络之间的共享层，以评估其对特征迁移性能的影响。
• 在不同架构共享程度下测量迁移准确率，以评估特征鲁棒性与任务对齐程度。
• 分析特征表示的零空间，以识别不受任务特定噪声影响的分量。
• 识别GAN训练中在防止模式崩溃中起关键作用的临界比例，提出一种新的训练度量指标。

实验结果

研究问题

• RQ1 为何基于判别器的特征在迁移学习中表现良好，即使其并非显式训练用于特征解耦？
• RQ2 判别器在防止模式崩溃中的作用如何影响其学习特征的质量与泛化能力？
• RQ3 当源任务与目标任务相似时，基于判别器的特征提取器与基于分类器的提取器相比表现如何？
• RQ4 噪声鲁棒性在基于判别器的特征提取器成功中的作用是什么，为何其不可替代？
• RQ5 GAN训练中决定模式崩溃的底层比例是什么，它如何为更优的训练策略提供指导？

主要发现

• 判别器并未引导特征在真实样本间实现差异；相反，其在防止模式崩溃中的核心作用，导致其学习到的特征表示具有抗噪鲁棒性。
• 在MNIST实验中，当所有共享层被移除时，基于分类器的提取器性能优于基于判别器的提取器达2.69%，表明其具有更优的任务对齐能力。
• 在CIFAR-10上，当移除两层共享层后，分类器与判别器提取器之间的性能差距扩大至6.62%，表明分类器方法在领域分布偏移下泛化能力更强。
• 尽管在任务相似时准确率表现不如分类器，但基于判别器的提取器仍保持强劲性能，归因于其固有的噪声鲁棒性，这是分类器所不具备的。
• 本研究识别出GAN训练中一个在防止模式崩溃中起关键作用的临界比例，为提升GAN训练稳定性提供了新方向。
• 特征表示的零空间捕获了抗噪分量，表明判别器的优势在于排除与任务无关的变异，而非学习特定任务的特征。