[论文解读] A Pitfall of Unsupervised Pre-Training

Michele Alberti, Mathias Seuret+2 more|arXiv (Cornell University)|Nov 23, 2017

Human Resource Development and Performance Evaluation被引用 4

一句话总结

本文挑战了人们普遍认为通过堆叠卷积自编码器（SCAEs）进行无监督预训练以重建输入时所学习到的特征本质上对分类任务有用这一假设。研究证明，重建性能与分类准确率之间并无相关性，且由于解码器偏差，重建误差是一个不可靠的度量指标，从而削弱了将最小化重建损失作为下游任务中特征质量代理的合理性。

ABSTRACT

The point of this paper is to question typical assumptions in deep learning and suggest alternatives. A particular contribution is to prove that even if a Stacked Convolutional Auto-Encoder is good at reconstructing pictures, it is not necessarily good at discriminating their classes. When using Auto-Encoders, intuitively one assumes that features which are good for reconstruction will also lead to high classification accuracy. Indeed, it became research practice and is a suggested strategy by introductory books. However, we prove that this is not always the case. We thoroughly investigate the quality of features produced by Stacked Convolutional Auto-Encoders when trained to reconstruct their input. In particular, we analyze the relation between the reconstruction and classification capabilities of the network, if we were to use the same features for both tasks. Experimental results suggest that in fact, there is no correlation between the reconstruction score and the quality of features for a classification task. This means, more formally, that the sub-dimension representation space learned from the Stacked Convolutional Auto-Encoder (while being trained for input reconstruction) is not necessarily better separable than the initial input space. Furthermore, we show that the reconstruction error is not a good metric to assess the quality of features, because it is biased by the decoder quality. We do not question the usefulness of pre-training, but we conclude that aiming for the lowest reconstruction error is not necessarily a good idea if afterwards one performs a classification task.

研究动机与目标

• 质疑广泛持有的假设，即自编码器中良好的重建性能意味着对分类任务具有良好的特征质量。
• 探究通过堆叠卷积自编码器（SCAEs）为重建目的所学习到的特征是否实际上对类别判别有效。
• 评估重建误差是否是表征学习中特征质量的可靠度量指标。
• 证明解码器架构可能对重建误差产生偏差，使其成为特征效用的不可靠指标。
• 主张即使预训练有益，最小化重建误差也不一定是下游分类任务中最佳的特征学习优化目标。

提出的方法

• 使用标准训练目标，训练堆叠卷积自编码器（SCAEs）以重建输入图像。
• 从编码器的隐藏层提取所学习到的特征，用于下游分类任务。
• 同时使用重建误差（在训练集上）和分类准确率对特征质量进行评估。
• 在多个实验设置下，对比重建性能与分类性能。
• 分析解码器架构对重建误差的影响，以评估其对特定特征的偏差。
• 通过受控实验，将重建质量的影响与分类效用的影响分离开来。

实验结果

研究问题

• RQ1 当使用预训练SCAE的特征时，重建误差与分类准确率之间是否存在显著相关性？
• RQ2 模型能否在实现高重建性能的同时，学习到对类别判别能力差的特征？
• RQ3 重建误差在多大程度上受解码器网络设计的影响？
• RQ4 最小化重建误差是否能带来对分类任务更优的特征？
• RQ5 重建误差是否是无监督预训练中特征质量的可靠代理指标？

主要发现

• 当使用预训练堆叠卷积自编码器的特征时，重建误差与分类准确率之间无显著相关性。
• 即使重建误差较低，SCAEs所学习到的特征仍可能对类别判别能力差，表明重建并非良好表征学习的充分条件。
• 重建误差受解码器质量与架构的影响，因此是评估特征效用的不可靠指标。
• 即使重建效果极佳，SCAEs所学习到的子维度表示空间也不一定比原始输入空间更具可分性。
• 在预训练期间最小化重建误差并不能保证下游分类任务性能的提升。
• 本研究结论认为，尽管预训练可能有益，但重建误差不应用于作为特征学习的主要优化目标。